Diagnose: fehlerhafte Blockierung vom Crawler

Beitrag von **everflux** » 09.05.2007, 09:48

Eigentlich klicke ich selten auf die "webseiten diagnose" im Adsense, aber heute hab ich es einfach mal gemacht.
Und da waren dann einige Fehler aufgeführt. Gut, 2 not-found kann ich mir erklären, aber dann waren da noch drei Blockierungen mit Grund "Robots.txt Datei".
Jetzt ist es aber so, daß es für die betreffende Seite gar keine Robots.txt gibt. (gab *g*)
Ich habe die meta Angaben der einzelnen Seiten gecheckt, die haben entweder keine Robots Anweisunden oder ein index,follow.

Was könnte hier wohl passiert sein, was könnte ich unternehmen um diese Fehler zukünftig zu verhindern? (Die Seite ist nicht von mir, wird nur durch mich betreut. ich bin aber sicher, daß es nicht zwischenzeitlich eine robots.txt gab)

Danke für's Mitdenken!

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Liisa** » 09.05.2007, 10:13

War bei mir seit dem 30.4. bis gestern auch so. Angeblich wurde eine Seite durch die robots.txt gesperrt.
Es konnte aber gar nicht sein, da zum einen die Seite gar nicht von der robots.txt tangiert wird und zum anderen auf der angeblich betroffenen Seite Adsense Anzeigen ohne Probleme angezeigt wurden.

Seit heute früh ist der Fehler nun anscheinend behoben und ich habe unter Website-Diagnose keine Fehlermeldungen mehr.

Beitrag von **MonikaTS** » 09.05.2007, 10:22

wenn es keine robots.txt gibt kann es sein, dass kein korrekter error 404 ausgegeben wird, sondern vielleicht ein access denied?

gib die url ein häng robots.txt dran und lies die Fehlermeldung, dann bist Du ein bisschen Schlauer,

ist da alles in Ordnung ist beim tool was nicht in Ordnung

lg

Beitrag von **GreenHorn** » 09.05.2007, 10:41

einfach hat geschrieben:wenn es keine robots.txt gibt kann es sein, dass kein korrekter error 404 ausgegeben wird, sondern vielleicht ein access denied?

gib die url ein häng robots.txt dran und lies die Fehlermeldung, dann bist Du ein bisschen Schlauer,

ist da alles in Ordnung ist beim tool was nicht in Ordnung

lg

Ne, ich glaube das ist ein bug von google. Bei mir ist auch angeblich eine statische Seite per robots gesperrt (Fehlermeldung 02.05.) ...habe aber alle Seiten für den Mediabot in der robots.txt freigegeben.