Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

warum gehorcht slurp einfach nicht!!!!

Alles Rund um Bing, Yahoo! Suche und andere Suchmaschinen.
Neues Thema Antworten
austrian-x
PostRank 4
PostRank 4
Beiträge: 148
Registriert: 14.03.2008, 11:01

Beitrag von austrian-x » 14.06.2008, 00:18

ich hasse diesen bot, der will einfach nicht hören, ich bin kurz davor diesen deppen per htaccess zu sperren, ich hab schon alles gemacht...

User-agent: Slurp
Crawl-delay: 3600

User-agent: Yahoo! Slurp
Crawl-delay: 3600

hilft alles nix, meine seite hat um die 90.000 pages, und der bot zwingt den server in die knie. wenn über yahoo suchmaschinen-traffic kommen würde- OK, aber nur crawlen und keine besucher, ärgerlich!

was kann man sonst noch machen?

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Artikel-SEO (gesperrt)
PostRank 9
PostRank 9
Beiträge: 1003
Registriert: 05.11.2007, 15:35

Beitrag von Artikel-SEO (gesperrt) » 14.06.2008, 00:34

austrian-x hat geschrieben:
User-agent: Slurp
Crawl-delay: 3600

User-agent: Yahoo! Slurp
Crawl-delay: 3600
Probier das mal aus...

User-agent: Slurp
Crawl-delay: 3600 x 15

User-agent: Yahoo! Slurp
Crawl-delay: 3600 x 20

huah
PostRank 6
PostRank 6
Beiträge: 429
Registriert: 19.04.2007, 21:56

Beitrag von huah » 14.06.2008, 01:14

Ist der Wert vielleicht zu hoch gewählt? Ich konnte zum Beispiel mit einem Delay von 5 eine deutliche Verringerung des Slurp Traffics beobachten.

User-agent: Slurp
Crawl-delay: 5

Obwohl hier ja eigentlich steht, dass man jeden Wert einsetzen kann, bis einem das Verhalten des Crawlers gefällt: https://help.yahoo.com/l/us/yahoo/search ... rp-03.html

austrian-x
PostRank 4
PostRank 4
Beiträge: 148
Registriert: 14.03.2008, 11:01

Beitrag von austrian-x » 14.06.2008, 06:24

ja ich hatte zuerst auch nur 5 eingestellt, dann bin ich drauf gekommen, dass das für jede IP eines yahoo-crawlers ist!! ich habe keine ahnung wie viele es davon gibt, daher dieser hohe wert.
ich hab nachgeschaut, wie viel besucher-traffic mir yahoo bringt: nur ein 1%!! google 81%!
wie ist es bei euch?

Lord Pixel
PostRank 7
PostRank 7
Beiträge: 601
Registriert: 24.08.2007, 17:06

Beitrag von Lord Pixel » 14.06.2008, 11:44

Möglichweise ist das zu hoch. Yahoo empiehlt, den Wert auf "bis zu 5 oder 10" Sekunden zu stellen. Wenn du ihn ganz ausschließen willst, sperre ihn per robots.txt ganz. Wenn ein Crawler deinem Server Probleme bereitet, solltest du aber auch überlegen, ob nicht dein Server zu schwach ist oder deine Seiten schlecht programmiert.

Keyser Soze
PostRank 9
PostRank 9
Beiträge: 1414
Registriert: 07.09.2004, 08:58

Beitrag von Keyser Soze » 26.06.2008, 15:22

Ich habe den Wert für Slurp schon immer auf 10 stehen. Seit 2 Tagen hält sich Yahoo nicht mehr an diese Angabe (bei allen meinen Webseiten) und meine Server sind kaum noch erreichbar, weil das einer Denial of Service Attacke gleicht, was hier gerade abgeht. Durchschnittlich zwei Slurp-Requests pro Sekunde und das rund um die Uhr.
Wenn sich in 24 Stunden nix ändert, werde ich Slurp per htaccess sperren müssen. Ist mir vollkommen schleierhaft, warum sich so ein großer Konzern plötzlich einen feutschen Kehricht darum schert, was er selber auf seiner robots.txt-Infoseite schreibt. :x

Unifex
PostRank 9
PostRank 9
Beiträge: 1024
Registriert: 25.12.2005, 10:43

Beitrag von Unifex » 30.06.2008, 13:04

Kann das sein das der Slurp heute total spinnt. Plötzlich fängt der an mein Forum zu durchwühlen, obwohl der schon seit Monaten per Robots gesperrt ist. Habe die Robots.txt nicht geändert.

Keyser Soze
PostRank 9
PostRank 9
Beiträge: 1414
Registriert: 07.09.2004, 08:58

Beitrag von Keyser Soze » 30.06.2008, 13:54

Sag ich doch, seit ein paar Tagen dreht das Teil voll am Rad. Bei mir hat sich nach wie vor nix geändert, die Crawl-delay-Direktive wird missachtet.

sean
PostRank 10
PostRank 10
Beiträge: 3396
Registriert: 05.01.2004, 20:26
Wohnort: Leipzig/Karlsruhe

Beitrag von sean » 30.06.2008, 14:04

jep, bei mir hält er sich auch nicht mehr an die robots txt richtlinie. Ich werde ihn, wie den msn live bot, einfach mal ein paar Tage lang per htaccess sperren.

Gruß

sean

Antworten