Seite 1 von 1
warum gehorcht slurp einfach nicht!!!!
Verfasst: 14.06.2008, 00:18
von austrian-x
ich hasse diesen bot, der will einfach nicht hören, ich bin kurz davor diesen deppen per htaccess zu sperren, ich hab schon alles gemacht...
User-agent: Slurp
Crawl-delay: 3600
User-agent: Yahoo! Slurp
Crawl-delay: 3600
hilft alles nix, meine seite hat um die 90.000 pages, und der bot zwingt den server in die knie. wenn über yahoo suchmaschinen-traffic kommen würde- OK, aber nur crawlen und keine besucher, ärgerlich!
was kann man sonst noch machen?
Re: warum gehorcht slurp einfach nicht!!!!
Verfasst: 14.06.2008, 00:34
von Artikel-SEO (gesperrt)
austrian-x hat geschrieben:
User-agent: Slurp
Crawl-delay: 3600
User-agent: Yahoo! Slurp
Crawl-delay: 3600
Probier das mal aus...
User-agent: Slurp
Crawl-delay: 3600 x 15
User-agent: Yahoo! Slurp
Crawl-delay: 3600 x 20
Verfasst: 14.06.2008, 01:14
von huah
Ist der Wert vielleicht zu hoch gewählt? Ich konnte zum Beispiel mit einem Delay von 5 eine deutliche Verringerung des Slurp Traffics beobachten.
User-agent: Slurp
Crawl-delay: 5
Obwohl hier ja eigentlich steht, dass man jeden Wert einsetzen kann, bis einem das Verhalten des Crawlers gefällt:
https://help.yahoo.com/l/us/yahoo/searc ... rp-03.html
Verfasst: 14.06.2008, 06:24
von austrian-x
ja ich hatte zuerst auch nur 5 eingestellt, dann bin ich drauf gekommen, dass das für jede IP eines yahoo-crawlers ist!! ich habe keine ahnung wie viele es davon gibt, daher dieser hohe wert.
ich hab nachgeschaut, wie viel besucher-traffic mir yahoo bringt: nur ein 1%!! google 81%!
wie ist es bei euch?
Verfasst: 14.06.2008, 11:44
von Lord Pixel
Möglichweise ist das zu hoch. Yahoo empiehlt, den Wert auf "bis zu 5 oder 10" Sekunden zu stellen. Wenn du ihn ganz ausschließen willst, sperre ihn per robots.txt ganz. Wenn ein Crawler deinem Server Probleme bereitet, solltest du aber auch überlegen, ob nicht dein Server zu schwach ist oder deine Seiten schlecht programmiert.
Verfasst: 26.06.2008, 15:22
von Keyser Soze
Ich habe den Wert für Slurp schon immer auf 10 stehen. Seit 2 Tagen hält sich Yahoo nicht mehr an diese Angabe (bei allen meinen Webseiten) und meine Server sind kaum noch erreichbar, weil das einer Denial of Service Attacke gleicht, was hier gerade abgeht. Durchschnittlich zwei Slurp-Requests pro Sekunde und das rund um die Uhr.
Wenn sich in 24 Stunden nix ändert, werde ich Slurp per htaccess sperren müssen. Ist mir vollkommen schleierhaft, warum sich so ein großer Konzern plötzlich einen feutschen Kehricht darum schert, was er selber auf seiner robots.txt-Infoseite schreibt.
Verfasst: 30.06.2008, 13:04
von Unifex
Kann das sein das der Slurp heute total spinnt. Plötzlich fängt der an mein Forum zu durchwühlen, obwohl der schon seit Monaten per Robots gesperrt ist. Habe die Robots.txt nicht geändert.
Verfasst: 30.06.2008, 13:54
von Keyser Soze
Sag ich doch, seit ein paar Tagen dreht das Teil voll am Rad. Bei mir hat sich nach wie vor nix geändert, die Crawl-delay-Direktive wird missachtet.
Verfasst: 30.06.2008, 14:04
von sean
jep, bei mir hält er sich auch nicht mehr an die robots txt richtlinie. Ich werde ihn, wie den msn live bot, einfach mal ein paar Tage lang per htaccess sperren.
Gruß
sean