Googlebot gehorchte nicht robots.txt

Beitrag von **bull** » 16.01.2004, 22:45

Googlebot kam heute vorbei, griff sich die aktuelle robots.txt, in der ein Verzeichnis und explizit eine Datei ausgeschlossen sind. Mit anderer IP saugte sie dann ein paar Seiten korrekt, um dann just diese disallowed-Seite zu holen. Noch schöner: Sie produzierte dann noch einen 404. Der einzige Link zur disallowed-Seite ist ein Bildlink meinetwegen mit dem Bild nichtspidern.gif und zeigt nach nichtspidern.html - die Anfrage war dann nichtspidern.gif/nichtspidern.html . Die Seite, in der der richtige Link placiert ist ist W3C-validiertes XHTML 1.0 - sollte Googlebot nicht in der Lage sein dies korrekt zu interpretieren? und die robots.txt-Verletzung daher rühren? Oder ist das eine 404-Test?

von **Anzeige von ABAKUS** »

Beitrag von **viggen** » 17.01.2004, 10:37

hallo bull,
gibt es diese Datei schon länger?

falls es ein zweites mal vorkommt würde ich auf jeden Fall Google kontaktieren (glaube aus dem Kopf heraus die email ist googlebot@google.com).

mfg
viggen