Seite 1 von 1
Verrückter Inktomi Slurp
Verfasst: 20.02.2005, 15:41
von austrian-i
Der mit Abstand verrückteste Robot! Hat in diesem Monat über 2500 Mal schon meine robots.txt aufgerufen und so viel abgespidered wie Google in den letzten zwei Monaten (und Google ist verdammt aktiv b ei mir).
Soll ich den sperren? Dieser Parasit verursacht nur Traffic und bringt aber nichts an Usern ein! Wer verwendet schon in Deutschland zb Hotboard oder wie der heisst
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 20.02.2005, 16:47
von larsneo
das folgende snippet für die robots.txt sollte zumindestens helfen, den indizierungswahn der beiden grossen 'tafficschlampen' ein wenig einzubremsen:
Code: Alles auswählen
User-Agent: msnbot
Crawl-Delay: 60
User-Agent: Slurp
Crawl-Delay: 60
(damit werden die bots angewiesen nur alle 60 sek eine datei anzufordern)
Verrückter Inktomi Slurp
Verfasst: 20.02.2005, 22:55
von austrian-i
hi larsneo,
gut, dann crawln sie eben alle 60 sekunden, aber wird das was dran ändern, dass sie weiterhin so viel crawln?
msnbot ist eh okay, aber meine frage ist ob in mitteleuropa, wo alle google, yahoo und msn verwenden, obs da notwendig ist, slurp reinzulassen - slurp wird doch nur von so kleinen suchmaschinen verwendet, die keiner kennt oder?
Verrückter Inktomi Slurp
Verfasst: 20.02.2005, 22:59
von larsneo
guckst du besser ersteinmal
*hier* zu wem slurp gehört
Verrückter Inktomi Slurp
Verfasst: 21.02.2005, 20:47
von austrian-i
nein das sind zwei verschiedene! inktomi slurp ist ein anderer als yahoo slurp!
oder irre ich???
Verrückter Inktomi Slurp
Verfasst: 21.02.2005, 20:49
von austrian-i
tatsächlich! inktomi gehört yahoo. ärgerlich!
