Google ignoriert laut WMT meine robot.txt

Beitrag von **Escamoteur** » 22.05.2009, 11:33

Hi,

ich habe in meiner robot.txt das Verzeichnis /zauberer/ gesperrt:

# # # Code
User-agent&#58; *
Disallow&#58; /bilder/
Disallow&#58; /zauberer/
User-agent&#58; Googlebot
Disallow&#58; /*.gif$

Wenn ich mit den WMTs teste, ob ein Zugriff auf www.tom-bennett.de/zauberer/landing.html möglich ist, dann behauptet WMT dass der Zugriff zugelassen sei.

Jemand ne Idee?

Gruß
Tom

von **Anzeige von ABAKUS** »

Beitrag von **Mork vom Ork** » 22.05.2009, 11:41

Möglicherweise ignoriert Google den allgemeinen Bereich, wenn ein Googlebot-Bereich vorhanden ist. Fände ich allerdings unlogisch, was die Aussage von * angeht, und ist auch nur geraten, wäre aber eine logische Erklärung für das Verhalten - probier' es aus.

Für Bilder ist davon abgesehen Herr/Frau/Fräulein Googlebot-Image zuständig, nicht Googlebot.

Beitrag von **Escamoteur** » 22.05.2009, 11:46

Hey, Du hast genau inst schwarze geraten.

Wenn ich die Zeile

User-agent: Googlebot

Rausnehme, dann reagiert er auch auf das Useragent: *

Scheint so, als dankt Google: Wenn es schon ne spezielle Anweisung für mich gibt, dann muss auch alles drin stehen was mich angehen könnte.

Allerdings ziemlich komisch

Dank Dir
Tom

Beitrag von **chris21** » 22.05.2009, 17:03

Ja, Google ist inzwischen ziemlich regide unfreundlich, was die Interpretation einer robots.txt angeht.

Dazu zählt unter anderem, dass * als UA ignoriert wird, wenn auch ein Googlebot als UA geführt wird. Ebenso auch, dass - falls man für den Googlebot als UA Regeln aufstellt, diese auch für andere Googlebots wie den Googlebot-Mobile oder Googlebot-Image gelten soll, d.h. - diese muss man dann ebenfalls gesondert aufführen, um sie eventuell auszuschließen oder zu erlauben.

In meinen Augen keine gute Politik von Google - aber gute Politik seitens Google ist eh schon seit ca. 5 Jahren nicht mehr zu finden.