Yahoo Slurp warum ?

Beitrag von **Luckybuy3000** » 10.10.2004, 19:47

Wir werden die letzten Tage von Yahoo Slurp regelrecht geflutet. Hat noch jemand eine Zunahme der Aktivitäten von Slurp beobachtet ? Slurp hat neuerdings wohl viele unterschiedliche IPS.

66.196.91.27 - - [09/Oct/2004:03:29:48 +0200] "GET /article24.html HTTP/1.0" 200 5205 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)"
66.196.91.50 -

von **Anzeige von ABAKUS** »

Beitrag von **sean** » 10.10.2004, 22:29

ja, aber nicht bei allen Projekten. Am 09.10. war er übermäßig stark vertreten.

Gruß

sean

Beitrag von **Klaus** » 18.10.2004, 08:58

Bei mir auch. Kaum, dass ich eine Seite oben habe ist er schon da.
Versaut auch zusätzlich die etracker-Statistik.
Wie kann man den ausperren?
(habe ich doch hier schon irgendwo gelesen)
Klaus

Beitrag von **Luckybuy3000** » 18.10.2004, 09:08

Den würde ich allerdings nicht aussperren, ist doch ziemlich wichtig, bei msn siehts da schon anders aus.

Beitrag von **Klaus** » 18.10.2004, 09:14

Hast recht, ausperren nicht. Aber hier ist irgendwo ein Thread mit einem Befehl, mit dem man ihn irgendwie eingrenzen kann.
Klaus

Beitrag von **Ice Man** » 18.10.2004, 09:31

bei mir nervt der auch ganz schon ....

Aber sperren, nein

Beitrag von **Luckybuy3000** » 18.10.2004, 12:29

Das Thema wurde schon mehrfach besprochen, öfter mal die Suche verwenden bezüglich Crawl-delay:Robots.txt für msn:

User-agent: msnbot
Crawl-delay: 20

Beitrag von **Klaus** » 18.10.2004, 13:05

Genau.
Das ist der Thread:
https://www.abakus-internet-marketing.d ... r+msn.html
Klaus