Hallo,
in einem meiner Foren sind im Schnitt um die 300 User online. Etwa ein Drittel davon stellt Yahoo mittels des nervigen und penetranten Slurp Bots.
Während andere Suchmaschinen (Google, MSN) mit weitaus weniger Bots auskommen, und gleichzeitig noch deutlich besser indexieren, wird Yahoo immer mehr zu einer trafficfressenden und serverloadschädlichen Plage.
Beispiel:
Indexierte Seiten durch Google: ~ 800.000 (max 10-15 Bots online)
Indexierte Seiten durch Yahoo: ~ 75.000 (in der Regel ~ 100 Bots online!)
Gemessen an der hohen Anzahl, bringt Yahoo Slurp also fast gar nichts. Soll heißen er indexiert richtig mies!
Was würdet Ihr mir raten? Wie sollte ich vorgehen bzw. diese Angelegenheit regeln?
Lässt sich der Slurp-Bot vielleicht mittels robots.txt vorschreiben, dass er nur alle X Tage einmal vorbeischauen soll?
mfg
Archiv
