Google Sitemap & robots.txt Problem

Beitrag von **ixbsd** » 29.04.2006, 02:53

Hallo Zusammen,
gerade schaue ich in Google Sitemap und sehe, dass neuerdings URLs angemeckert werden (URL durch "robots.txt" eingeschränkt). Das stimmt aber nicht, da meine robots.txt so aussieht:

User-agent: *
Disallow:

User-agent: ia_archiver
Disallow: /

Kennt jemand diesen Fehler? Hoffe er ist nur temporär...

Grüße, ixbsd

von **Anzeige von ABAKUS** »

Beitrag von **jestear** » 29.04.2006, 19:29

Ist mir auch aufgefallen und ich hab mich gewundert, mir das Problem aber noch nicht weiter angesehen. Die angemeckerten URLs stehen auch gar nicht in der Sitemap sondern nur im bisherigen Index vom grossen blinden Bruder.

Beitrag von **mark007q** » 29.04.2006, 20:02

Das Problem umgeht man, indem man den Googlebot explizit benennt