Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Yahoo Slurp ignoriert robots.txt

Alles Rund um Bing, Yahoo! Suche und andere Suchmaschinen.
Neues Thema Antworten
querschlaeger
PostRank 3
PostRank 3
Beiträge: 99
Registriert: 07.04.2009, 00:18

Beitrag von querschlaeger » 11.04.2009, 10:39

Hallo,

sagt mal ignoriert der Yahoo Bot bei euch auch die robots.txt?
Ich stelle jetzt seit einigen Tagen fest, dass Yahoo eindeutig Seiten aufruft, welche per robots.txt eigentlich gesperrt sind.

Die IP des Bots gehört auf jeden Fall zu Yahoo, also ist es kein Fake Bot! Ich finde das irgendwie ne Frechheit, dass Yahoo groß auf ihrer Seite angeben, dass sie sich an die robots.txt halten und dann passiert sowas!

Sucht man mal (mit Google) nach "Yahoo robots.txt" findet man heraus, dass ich kein Einzelfall bin.

Was haltet ihr davon?

gruß querschlaeger

Antworten