Disallow domain.de:Port in robots.txt eintragen - nützt das?

[dev.]

Hallo,

ich möchte gerne einige Portbereiche einer Domain aus dem Index von Google nehmen und auch verhindern, dass sie wieder dort auftauchen.

Kann ich dies mit einem normalen Disallow: www.domain.de:8080 oder www.domain.de:7474/service/ machen?

In beiden Fällen würde doch weiterhin www.domain.de indiziert und nur der Portbereich geblockt (wenn das mit dem Port überhaupt geht?).

Danke.

[BKEAIM]

Vielleicht hilft Dir dieser Artikel zu HTTPS weiter, da geht's ja auch nur um eine Portnummer:
https://www.seomoz.org/ugc/solving-dupl ... and-httpss

[Michael]

Nein, mit Disallow: www.domain.de:8080 oder www.domain.de:7474/service/ geht das nicht.

Aber es ist möglich eine robots.txt unter www.domain.de:8080/robots.txt anzulegen, die einfach alles verbietet.
Aber Achtung: die robots.txt darf nicht unter www.domain.de/robots.txt erreichbar sein.

[BKEAIM]

Aber es ist möglich eine robots.txt unter www.domain.de:8080/robots.txt anzulegen, die einfach alles verbietet.
Aber Achtung: die robots.txt darf nicht unter www.domain.de/robots.txt erreichbar sein.

Genau darum geht es in dem von mir weiter oben verlinkten Artikel.

[Michael]

Dann ist es ja gut

[dev.]

Das Problem hierbei ist, dass ich keinen Zugriff auf die Dateien, welche unter domain.de:8080 ausgeliefert werden, bekommen kann, da sie alle samt dynamisch generiert werden und die applikation die dafür zuständig ist, ach nicht im root "www" liegt. (Z.B. Tomcat Applikationen...)

Darum kann ich unter domain.de:8080 keien robots.txt erzeugen, da ich kein physisches Verzeichnis für Daten auf :8080 habe.

[BKEAIM]

Das Problem hierbei ist, dass ich keinen Zugriff auf die Dateien, welche unter domain.de:8080 ausgeliefert werden, bekommen kann, da sie alle samt dynamisch generiert werden und die applikation die dafür zuständig ist, ach nicht im root "www" liegt. (Z.B. Tomcat Applikationen...)

Darum kann ich unter domain.de:8080 keien robots.txt erzeugen, da ich kein physisches Verzeichnis für Daten auf :8080 habe.

Ohne Deine genaue Konfiguration zu kennen, aber wenn es um Tomcat geht, versuch' doch mal die Datei robots.txt im Verzeichnis webapps/ROOT/ abzulegen.

Hast Du ansonsten Einfluss auf die generierten Seiten, um dort das Indexieren per Meta-Tag auszuschließen?

[dev.]

Das Problem hierbei ist, dass ich keinen Zugriff auf die Dateien, welche unter domain.de:8080 ausgeliefert werden, bekommen kann, da sie alle samt dynamisch generiert werden und die applikation die dafür zuständig ist, ach nicht im root "www" liegt. (Z.B. Tomcat Applikationen...)

Darum kann ich unter domain.de:8080 keien robots.txt erzeugen, da ich kein physisches Verzeichnis für Daten auf :8080 habe.

Ohne Deine genaue Konfiguration zu kennen, aber wenn es um Tomcat geht, versuch' doch mal die Datei robots.txt im Verzeichnis webapps/ROOT/ abzulegen.

Hast Du ansonsten Einfluss auf die generierten Seiten, um dort das Indexieren per Meta-Tag auszuschließen?

Nein, es geht nicht um Tomcat, war lediglich ein Vergleich. Ok, nicht ganz perfekt, da es bei Tomcat ja möglich ist Daten ins "root" abzulegen.

Also die Applikation liegt außerhalb des roots/www und baut wie z.B. Tomcat auch kein "webapp-root" auf. Dateien werden .jsp generiert jedoch alles aus .xml Dateien - darum habe ich auch keine möglichkeit in eine index Datei oder "header" Datei die entsprechenden Meta-tags einzufügen, da es diese Dateien so auf dem Server nciht gibt. Sie werden eben aus dutzenden xml Dateien zusammengebastelt.

Irgednwie würde ich google jedoch gerne das crwalen/indexen bestimmter Ports verbieten.

[Michael]

Was ist denn das für ein sch... Server, wenn man nicht mal eine statische Textdatei im root Ordner ablegen kann ???