Googlebot spidert "verbotene" Datei

Beitrag von **bruko** » 15.10.2003, 17:20

Hi,
habe allen robots verboten meine fehler.php (für 403 und 404) zu spidern. Ich will nicht das die in den Ergebnissen auftaucht, das könnte passieren, weil es ein paar Keywords darin gibt. Die Fehlerseite wird öfter ausgelöst, da die Seitenstruktur neu aufgebaut wurde.
in der robots.txt steht dann
Disallow: /fehler.htm
wg. mode_rewrite von php nach htm
Insbesondere der Googlebot spidert nach dem Verbot in der robots.txt (seit ca. 2 Stunden aktiv) noch häufiger die fehler.php.
Mir kommt das fast so vor, als hätte ich ihm die Datei richtig schmackhaft gemacht.
Auf normalen Weg kann er die Datei nicht spidern, da es keine Verlinkung gibt, er sucht halt nach nicht mehr vorhandenen Dateien.
Nimmt er vielleicht deshalb die fehler.php garnicht in den Index mit? Dann könnte ich mir ja die ganze Aktion sparen in der robots.txt.
Bruno
Nachtrag: Eben wurde die Datei innerhalb von 19 Minuten 7x gespidert

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Southmedia** » 15.10.2003, 17:41

1) du hast die "fehler.htm" ausgeschlossen.
2) google spider die "fehler.php".

Daraus ergibt sich
3) Alles im grünen Bereich

Vorschlag
4) Schliesse die "fehler.php" auch noch aus.

Beitrag von **bruko** » 15.10.2003, 17:53

Hi Jan,
das hatte ich zuerst gemacht, die fehler.php ausgeschlossen, ohne Effekt.
Ich denke auch, dass der Robot beim Aufruf einer nicht vorhandenen Seite wg. mode_rewrite eine fehler.htm geliefert bekommt.
Liege ich da verkehrt?
Bruno

Beitrag von **Southmedia** » 15.10.2003, 18:12

wenn er die fehler.php spidert ist sie irgendwo verlinkt, oder eben per htaccess als fehelrseite einegstellt.

mach einfach ein disallow auf beide dateien dann dürften beide nicht mehr gespidert werden.

Beitrag von **bruko** » 15.10.2003, 18:26

Southmedia hat geschrieben:wenn er die fehler.php spidert ist ... per htaccess als fehelrseite einegstellt.

habe ich, hab mich nicht klar ausgedrückt, dachte dies geht aus meiner Fragestellung hervor.

Southmedia hat geschrieben:mach einfach ein disallow auf beide dateien dann dürften beide nicht mehr gespidert werden.

hatte ich auch schon eine Weile zu laufen.
Aber ich denke inzwischen, solange der robot Seiten im Rucksack hat die nicht mehr vorhanden sind, muss ich wohl akzeptieren, dass er die fehler.htm oder fehler.php geliefert bekommt.
Werde ganz einfach zur Sicherheit aus der fehler.php alles was die Seite nach oben bringen könnte rausnehmen - ein ganz neues Gefühl:
Eine Negativ-Optimierung machen

Bruno

Beitrag von **Southmedia** » 15.10.2003, 18:53

Wieso schliesst du die fehler.php (bzw fehler.htm) nicht einfach aus, per robot.txt und dann noch per metatag? damit wird google klar gesagt: das will ich nicht in einer suchmaschine stehen haben.

verstehe nicht wo da das problem liegen sollte dass du die seite irgendwie optimieren willst.