Yahoo Slurp ignoriert robots.txt
Verfasst: 11.04.2009, 10:39
Hallo,
sagt mal ignoriert der Yahoo Bot bei euch auch die robots.txt?
Ich stelle jetzt seit einigen Tagen fest, dass Yahoo eindeutig Seiten aufruft, welche per robots.txt eigentlich gesperrt sind.
Die IP des Bots gehört auf jeden Fall zu Yahoo, also ist es kein Fake Bot! Ich finde das irgendwie ne Frechheit, dass Yahoo groß auf ihrer Seite angeben, dass sie sich an die robots.txt halten und dann passiert sowas!
Sucht man mal (mit Google) nach "Yahoo robots.txt" findet man heraus, dass ich kein Einzelfall bin.
Was haltet ihr davon?
gruß querschlaeger
sagt mal ignoriert der Yahoo Bot bei euch auch die robots.txt?
Ich stelle jetzt seit einigen Tagen fest, dass Yahoo eindeutig Seiten aufruft, welche per robots.txt eigentlich gesperrt sind.
Die IP des Bots gehört auf jeden Fall zu Yahoo, also ist es kein Fake Bot! Ich finde das irgendwie ne Frechheit, dass Yahoo groß auf ihrer Seite angeben, dass sie sich an die robots.txt halten und dann passiert sowas!
Sucht man mal (mit Google) nach "Yahoo robots.txt" findet man heraus, dass ich kein Einzelfall bin.
Was haltet ihr davon?
gruß querschlaeger