Hab mit erstaunen, oder besser ereschrecken in den WMT festgestellt, dass der google bot seine eigene Sprache scheinbar nicht mehr versteht und Seiten, die überhaupt nicht gesperrt sind, als durch die robots.txt Datei gesperrt vermerkt.
Ist das bei jemanden von Euch schon einmal passiert.
Z.B. bei der Zeile
User-agent: *
Kommt beim Test heraus (Syntax nicht verstanden)
Jetzt habe ich die Datei einmal mit dem google Tool erstellt. Und damit sieht meine robots Datei nun folgendermaßen aus:
User-agent: *
Allow: /
Disallow: /doc/
Also alles im Verzeichnis /doc/ soll gesperrt sein.
Die WMT zeigen mir aber Seiten an, die gesperrt sind, obwohl die überhaupt nicht in dem Verzeichnis stehen.
Die Zeile User-agent, versteht google übrigens immer noch nicht.
Ist das nur bei mir so?
Archiv
anscheinend