Wichtikeit der Robots.txt ?

[KUS]

Wie ich jetzt schon öfter gelesen habe handelt der GoogleBot nach den Anweisngen in der Robost.txt. Was aber tut er wenn er eine solche nicht findet ? Nimmt er die Seite dann überhapt auf ? Verfolgt er die inks etc. ?

[Southmedia]

Auch wenn der Bot alles Spidern darf sollte man trotzdem eine robots.txt haben. Sosnt wird bei jedem Spiderdurchgang ein Error404 produziert und der Bot könnte sich irritiert zeigen.

Eine robots.txt die alles zulässt sieht folgendermassen aus:

Code: Alles auswählen

User-agent: *
Disallow:

[Anonymous]

Wie ist das wenn ich mehrere Domains auf einem Server habe, also in den Unterverzeichnissen meiner Hauptdomain (bei HostEurope). Sollte ich dann nur in die Verzeichnisse der einzelnen Domains eine robots.txt legen, oder auch ruhig eine ins Hauptverzeichnis?

Nicht dass Google dann plötzlich alle Domains als Unterverzeichnisse aufnimmt und als Duplikate ansieht...

[Southmedia]

Google schaut immer im Hauptverzeichnis der Domain. Die Verbindung zwischen den Domains stellt der Bot da nicht her. Wenn der Bot als auf "domain.de/ordner/datei.htm" geht holt er sich vorher die Datei "domain.de/robots.txt".

[Anonymous]

Gut, ich hatte schon befürchtet damit würde man dem Bot erlauben den kompletten Webspace zu durchsuchen, würde ja zu recht chaotischen Ergebnissen führen.