warum gehorcht slurp einfach nicht!!!!

Beitrag von **austrian-x** » 14.06.2008, 00:18

ich hasse diesen bot, der will einfach nicht hören, ich bin kurz davor diesen deppen per htaccess zu sperren, ich hab schon alles gemacht...

User-agent: Slurp
Crawl-delay: 3600

User-agent: Yahoo! Slurp
Crawl-delay: 3600

hilft alles nix, meine seite hat um die 90.000 pages, und der bot zwingt den server in die knie. wenn über yahoo suchmaschinen-traffic kommen würde- OK, aber nur crawlen und keine besucher, ärgerlich!

was kann man sonst noch machen?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Artikel-SEO (gesperrt)** » 14.06.2008, 00:34

austrian-x hat geschrieben:
User-agent: Slurp
Crawl-delay: 3600

User-agent: Yahoo! Slurp
Crawl-delay: 3600

Probier das mal aus...

User-agent: Slurp
Crawl-delay: 3600 x 15

User-agent: Yahoo! Slurp
Crawl-delay: 3600 x 20

Beitrag von **huah** » 14.06.2008, 01:14

Ist der Wert vielleicht zu hoch gewählt? Ich konnte zum Beispiel mit einem Delay von 5 eine deutliche Verringerung des Slurp Traffics beobachten.

User-agent: Slurp
Crawl-delay: 5

Obwohl hier ja eigentlich steht, dass man jeden Wert einsetzen kann, bis einem das Verhalten des Crawlers gefällt: https://help.yahoo.com/l/us/yahoo/searc ... rp-03.html

Beitrag von **austrian-x** » 14.06.2008, 06:24

ja ich hatte zuerst auch nur 5 eingestellt, dann bin ich drauf gekommen, dass das für jede IP eines yahoo-crawlers ist!! ich habe keine ahnung wie viele es davon gibt, daher dieser hohe wert.
ich hab nachgeschaut, wie viel besucher-traffic mir yahoo bringt: nur ein 1%!! google 81%!
wie ist es bei euch?

Beitrag von **Lord Pixel** » 14.06.2008, 11:44

Möglichweise ist das zu hoch. Yahoo empiehlt, den Wert auf "bis zu 5 oder 10" Sekunden zu stellen. Wenn du ihn ganz ausschließen willst, sperre ihn per robots.txt ganz. Wenn ein Crawler deinem Server Probleme bereitet, solltest du aber auch überlegen, ob nicht dein Server zu schwach ist oder deine Seiten schlecht programmiert.

Beitrag von **Keyser Soze** » 26.06.2008, 15:22

Ich habe den Wert für Slurp schon immer auf 10 stehen. Seit 2 Tagen hält sich Yahoo nicht mehr an diese Angabe (bei allen meinen Webseiten) und meine Server sind kaum noch erreichbar, weil das einer Denial of Service Attacke gleicht, was hier gerade abgeht. Durchschnittlich zwei Slurp-Requests pro Sekunde und das rund um die Uhr.
Wenn sich in 24 Stunden nix ändert, werde ich Slurp per htaccess sperren müssen. Ist mir vollkommen schleierhaft, warum sich so ein großer Konzern plötzlich einen feutschen Kehricht darum schert, was er selber auf seiner robots.txt-Infoseite schreibt.

Beitrag von **Unifex** » 30.06.2008, 13:04

Kann das sein das der Slurp heute total spinnt. Plötzlich fängt der an mein Forum zu durchwühlen, obwohl der schon seit Monaten per Robots gesperrt ist. Habe die Robots.txt nicht geändert.

Beitrag von **Keyser Soze** » 30.06.2008, 13:54

Sag ich doch, seit ein paar Tagen dreht das Teil voll am Rad. Bei mir hat sich nach wie vor nix geändert, die Crawl-delay-Direktive wird missachtet.

Beitrag von **sean** » 30.06.2008, 14:04

jep, bei mir hält er sich auch nicht mehr an die robots txt richtlinie. Ich werde ihn, wie den msn live bot, einfach mal ein paar Tage lang per htaccess sperren.

Gruß

sean