Disallow domain.de:Port in robots.txt eintragen - nützt das?

Beitrag von **dev.** » 21.01.2009, 16:05

Hallo,

ich möchte gerne einige Portbereiche einer Domain aus dem Index von Google nehmen und auch verhindern, dass sie wieder dort auftauchen.

Kann ich dies mit einem normalen Disallow: www.domain.de:8080 oder www.domain.de:7474/service/ machen?

In beiden Fällen würde doch weiterhin www.domain.de indiziert und nur der Portbereich geblockt (wenn das mit dem Port überhaupt geht?).

Danke.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **BKEAIM** » 21.01.2009, 16:10

Vielleicht hilft Dir dieser Artikel zu HTTPS weiter, da geht's ja auch nur um eine Portnummer:
https://www.seomoz.org/ugc/solving-dupl ... and-httpss

Beitrag von **Michael** » 21.01.2009, 16:19

Nein, mit Disallow: www.domain.de:8080 oder www.domain.de:7474/service/ geht das nicht.

Aber es ist möglich eine robots.txt unter www.domain.de:8080/robots.txt anzulegen, die einfach alles verbietet.
Aber Achtung: die robots.txt darf nicht unter www.domain.de/robots.txt erreichbar sein.

von **Anzeige von ABAKUS** »

Beitrag von **BKEAIM** » 21.01.2009, 16:21

Michael hat geschrieben:Aber es ist möglich eine robots.txt unter www.domain.de:8080/robots.txt anzulegen, die einfach alles verbietet.
Aber Achtung: die robots.txt darf nicht unter www.domain.de/robots.txt erreichbar sein.

Genau darum geht es in dem von mir weiter oben verlinkten Artikel.

Beitrag von **Michael** » 21.01.2009, 16:24

Dann ist es ja gut

Beitrag von **dev.** » 23.01.2009, 15:39

Das Problem hierbei ist, dass ich keinen Zugriff auf die Dateien, welche unter domain.de:8080 ausgeliefert werden, bekommen kann, da sie alle samt dynamisch generiert werden und die applikation die dafür zuständig ist, ach nicht im root "www" liegt. (Z.B. Tomcat Applikationen...)

Darum kann ich unter domain.de:8080 keien robots.txt erzeugen, da ich kein physisches Verzeichnis für Daten auf :8080 habe.

Beitrag von **BKEAIM** » 23.01.2009, 17:45

dev. hat geschrieben:Das Problem hierbei ist, dass ich keinen Zugriff auf die Dateien, welche unter domain.de:8080 ausgeliefert werden, bekommen kann, da sie alle samt dynamisch generiert werden und die applikation die dafür zuständig ist, ach nicht im root "www" liegt. (Z.B. Tomcat Applikationen...)

Darum kann ich unter domain.de:8080 keien robots.txt erzeugen, da ich kein physisches Verzeichnis für Daten auf :8080 habe.

Ohne Deine genaue Konfiguration zu kennen, aber wenn es um Tomcat geht, versuch' doch mal die Datei robots.txt im Verzeichnis webapps/ROOT/ abzulegen.

Hast Du ansonsten Einfluss auf die generierten Seiten, um dort das Indexieren per Meta-Tag auszuschließen?

Beitrag von **dev.** » 24.01.2009, 11:42

BKEAIM hat geschrieben:
dev. hat geschrieben:Das Problem hierbei ist, dass ich keinen Zugriff auf die Dateien, welche unter domain.de:8080 ausgeliefert werden, bekommen kann, da sie alle samt dynamisch generiert werden und die applikation die dafür zuständig ist, ach nicht im root "www" liegt. (Z.B. Tomcat Applikationen...)

Darum kann ich unter domain.de:8080 keien robots.txt erzeugen, da ich kein physisches Verzeichnis für Daten auf :8080 habe.
Ohne Deine genaue Konfiguration zu kennen, aber wenn es um Tomcat geht, versuch' doch mal die Datei robots.txt im Verzeichnis webapps/ROOT/ abzulegen.

Hast Du ansonsten Einfluss auf die generierten Seiten, um dort das Indexieren per Meta-Tag auszuschließen?

Nein, es geht nicht um Tomcat, war lediglich ein Vergleich. Ok, nicht ganz perfekt, da es bei Tomcat ja möglich ist Daten ins "root" abzulegen.

Also die Applikation liegt außerhalb des roots/www und baut wie z.B. Tomcat auch kein "webapp-root" auf. Dateien werden .jsp generiert jedoch alles aus .xml Dateien - darum habe ich auch keine möglichkeit in eine index Datei oder "header" Datei die entsprechenden Meta-tags einzufügen, da es diese Dateien so auf dem Server nciht gibt. Sie werden eben aus dutzenden xml Dateien zusammengebastelt.

Irgednwie würde ich google jedoch gerne das crwalen/indexen bestimmter Ports verbieten.

Beitrag von **Michael** » 24.01.2009, 17:58

Was ist denn das für ein sch... Server, wenn man nicht mal eine statische Textdatei im root Ordner ablegen kann ???