ABAKUS

Hallo Zusammen,
gerade schaue ich in Google Sitemap und sehe, dass neuerdings URLs angemeckert werden (URL durch "robots.txt" eingeschränkt). Das stimmt aber nicht, da meine robots.txt so aussieht:

User-agent: *
Disallow:

User-agent: ia_archiver
Disallow: /

Kennt jemand diesen Fehler? Hoffe er ist nur temporär...

Grüße, ixbsd

Ist mir auch aufgefallen und ich hab mich gewundert, mir das Problem aber noch nicht weiter angesehen. Die angemeckerten URLs stehen auch gar nicht in der Sitemap sondern nur im bisherigen Index vom grossen blinden Bruder.

Das Problem umgeht man, indem man den Googlebot explizit benennt