Verrückter Inktomi Slurp

Beitrag von **austrian-i** » 20.02.2005, 15:41

Der mit Abstand verrückteste Robot! Hat in diesem Monat über 2500 Mal schon meine robots.txt aufgerufen und so viel abgespidered wie Google in den letzten zwei Monaten (und Google ist verdammt aktiv b ei mir).

Soll ich den sperren? Dieser Parasit verursacht nur Traffic und bringt aber nichts an Usern ein! Wer verwendet schon in Deutschland zb Hotboard oder wie der heisst

von **Anzeige von ABAKUS** »

Beitrag von **larsneo** » 20.02.2005, 16:47

das folgende snippet für die robots.txt sollte zumindestens helfen, den indizierungswahn der beiden grossen 'tafficschlampen' ein wenig einzubremsen:

Code: Alles auswählen

User-Agent&#58; msnbot
Crawl-Delay&#58; 60
User-Agent&#58; Slurp
Crawl-Delay&#58; 60

(damit werden die bots angewiesen nur alle 60 sek eine datei anzufordern)

Beitrag von **austrian-i** » 20.02.2005, 22:55

hi larsneo,

gut, dann crawln sie eben alle 60 sekunden, aber wird das was dran ändern, dass sie weiterhin so viel crawln?

msnbot ist eh okay, aber meine frage ist ob in mitteleuropa, wo alle google, yahoo und msn verwenden, obs da notwendig ist, slurp reinzulassen - slurp wird doch nur von so kleinen suchmaschinen verwendet, die keiner kennt oder?

Beitrag von **larsneo** » 20.02.2005, 22:59

guckst du besser ersteinmal *hier* zu wem slurp gehört

Beitrag von **austrian-i** » 21.02.2005, 20:47

nein das sind zwei verschiedene! inktomi slurp ist ein anderer als yahoo slurp!

oder irre ich???

Beitrag von **austrian-i** » 21.02.2005, 20:49

tatsächlich! inktomi gehört yahoo. ärgerlich!