Seite 1 von 1
Google ignoriert laut WMT meine robot.txt
Verfasst: 22.05.2009, 11:33
von Escamoteur
Hi,
ich habe in meiner robot.txt das Verzeichnis /zauberer/ gesperrt:
Code: Alles auswählen
# # # Code
User-agent: *
Disallow: /bilder/
Disallow: /zauberer/
User-agent: Googlebot
Disallow: /*.gif$
Wenn ich mit den WMTs teste, ob ein Zugriff auf
www.tom-bennett.de/zauberer/landing.html möglich ist, dann behauptet WMT dass der Zugriff zugelassen sei.
Jemand ne Idee?
Gruß
Tom
Re: Google ignoriert laut WMT meine robot.txt
Verfasst: 22.05.2009, 11:41
von Mork vom Ork
Möglicherweise ignoriert Google den allgemeinen Bereich, wenn ein Googlebot-Bereich vorhanden ist. Fände ich allerdings unlogisch, was die Aussage von * angeht, und ist auch nur geraten, wäre aber eine logische Erklärung für das Verhalten - probier' es aus.
Für Bilder ist davon abgesehen Herr/Frau/Fräulein
Googlebot-Image zuständig, nicht Googlebot.
Verfasst: 22.05.2009, 11:46
von Escamoteur
Hey, Du hast genau inst schwarze geraten.
Wenn ich die Zeile
User-agent: Googlebot
Rausnehme, dann reagiert er auch auf das Useragent: *
Scheint so, als dankt Google: Wenn es schon ne spezielle Anweisung für mich gibt, dann muss auch alles drin stehen was mich angehen könnte.
Allerdings ziemlich komisch
Dank Dir
Tom
Verfasst: 22.05.2009, 17:03
von chris21
Ja, Google ist inzwischen ziemlich regide unfreundlich, was die Interpretation einer robots.txt angeht.
Dazu zählt unter anderem, dass * als UA ignoriert wird, wenn auch ein Googlebot als UA geführt wird. Ebenso auch, dass - falls man für den Googlebot als UA Regeln aufstellt, diese auch für andere Googlebots wie den Googlebot-Mobile oder Googlebot-Image gelten soll, d.h. - diese muss man dann ebenfalls gesondert aufführen, um sie eventuell auszuschließen oder zu erlauben.
In meinen Augen keine gute Politik von Google - aber gute Politik seitens Google ist eh schon seit ca. 5 Jahren nicht mehr zu finden.
