Diagnose: fehlerhafte Blockierung vom Crawler
Verfasst: 09.05.2007, 09:48
Eigentlich klicke ich selten auf die "webseiten diagnose" im Adsense, aber heute hab ich es einfach mal gemacht.
Und da waren dann einige Fehler aufgeführt. Gut, 2 not-found kann ich mir erklären, aber dann waren da noch drei Blockierungen mit Grund "Robots.txt Datei".
Jetzt ist es aber so, daß es für die betreffende Seite gar keine Robots.txt gibt. (gab *g*)
Ich habe die meta Angaben der einzelnen Seiten gecheckt, die haben entweder keine Robots Anweisunden oder ein index,follow.
Was könnte hier wohl passiert sein, was könnte ich unternehmen um diese Fehler zukünftig zu verhindern? (Die Seite ist nicht von mir, wird nur durch mich betreut. ich bin aber sicher, daß es nicht zwischenzeitlich eine robots.txt gab)
Danke für's Mitdenken!
Und da waren dann einige Fehler aufgeführt. Gut, 2 not-found kann ich mir erklären, aber dann waren da noch drei Blockierungen mit Grund "Robots.txt Datei".
Jetzt ist es aber so, daß es für die betreffende Seite gar keine Robots.txt gibt. (gab *g*)
Ich habe die meta Angaben der einzelnen Seiten gecheckt, die haben entweder keine Robots Anweisunden oder ein index,follow.
Was könnte hier wohl passiert sein, was könnte ich unternehmen um diese Fehler zukünftig zu verhindern? (Die Seite ist nicht von mir, wird nur durch mich betreut. ich bin aber sicher, daß es nicht zwischenzeitlich eine robots.txt gab)
Danke für's Mitdenken!
