Hi,
habe allen robots verboten meine fehler.php (für 403 und 404) zu spidern. Ich will nicht das die in den Ergebnissen auftaucht, das könnte passieren, weil es ein paar Keywords darin gibt. Die Fehlerseite wird öfter ausgelöst, da die Seitenstruktur neu aufgebaut wurde.
in der robots.txt steht dann
Disallow: /fehler.htm
wg. mode_rewrite von php nach htm
Insbesondere der Googlebot spidert nach dem Verbot in der robots.txt (seit ca. 2 Stunden aktiv) noch häufiger die fehler.php.
Mir kommt das fast so vor, als hätte ich ihm die Datei richtig schmackhaft gemacht.
Auf normalen Weg kann er die Datei nicht spidern, da es keine Verlinkung gibt, er sucht halt nach nicht mehr vorhandenen Dateien.
Nimmt er vielleicht deshalb die fehler.php garnicht in den Index mit? Dann könnte ich mir ja die ganze Aktion sparen in der robots.txt.
Bruno
Nachtrag: Eben wurde die Datei innerhalb von 19 Minuten 7x gespidert
Archiv
