Seite 1 von 1
Yahoo Slurp warum ?
Verfasst: 10.10.2004, 19:47
von Luckybuy3000
Wir werden die letzten Tage von Yahoo Slurp regelrecht geflutet. Hat noch jemand eine Zunahme der Aktivitäten von Slurp beobachtet ? Slurp hat neuerdings wohl viele unterschiedliche IPS.
66.196.91.27 - - [09/Oct/2004:03:29:48 +0200] "GET /article24.html HTTP/1.0" 200 5205 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp;
https://help.yahoo.com/help/us/ysearch/slurp)"
66.196.91.50 -
Verfasst: 10.10.2004, 22:29
von sean
ja, aber nicht bei allen Projekten. Am 09.10. war er übermäßig stark vertreten.
Gruß
sean
Verfasst: 18.10.2004, 08:58
von Klaus
Bei mir auch. Kaum, dass ich eine Seite oben habe ist er schon da.
Versaut auch zusätzlich die etracker-Statistik.
Wie kann man den ausperren?
(habe ich doch hier schon irgendwo gelesen)
Klaus
Verfasst: 18.10.2004, 09:08
von Luckybuy3000
Den würde ich allerdings nicht aussperren, ist doch ziemlich wichtig, bei msn siehts da schon anders aus.
Verfasst: 18.10.2004, 09:14
von Klaus
Hast recht, ausperren nicht. Aber hier ist irgendwo ein Thread mit einem Befehl, mit dem man ihn irgendwie eingrenzen kann.
Klaus
Verfasst: 18.10.2004, 09:31
von Ice Man
bei mir nervt der auch ganz schon ....
Aber sperren, nein
Verfasst: 18.10.2004, 12:29
von Luckybuy3000
Das Thema wurde schon mehrfach besprochen, öfter mal die Suche verwenden bezüglich Crawl-delay:Robots.txt für msn:
User-agent: msnbot
Crawl-delay: 20
Verfasst: 18.10.2004, 13:05
von Klaus
