Yahoo spindert und spindert und...

Beitrag von **lala** » 03.07.2007, 15:13

Bei mir dasselbe. Der crawlt und crawlt seit Tagen wie wahnsinnig und trotzdem hat er nur meine index drin.

Liebe Grüße

lala

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Fox Mulder** » 05.07.2007, 06:05

Windy hat geschrieben:Nicht ganz. Der Ordner existiert ja nicht real, und außer der thread.html ist darin auch nichts erreichbar oder verlinkt, deswegen wundert mich das ja. Es gibt da nichts, der Spider erzeugt nur tonnenweise 404 Einträge in den Logs.

Mist bei mir auch. Yahoo Slurp verursacht soviel 404 Last bis der Server down ist:
"Server ran out of threads to serve requests. Consider raising the ThreadsPerChild setting"
Bringt das was mit Crawl delay??

Beitrag von **Fox Mulder** » 05.07.2007, 06:19

Das ist für mich wohl die letzte Lösung, um Yahoo Slurp auszusperren.

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^.*Yahoo.*$
RewriteRule .* - &#91;F&#93;

Ist der Code korrekt?

Beitrag von **djmarten1** » 07.07.2007, 18:23

bei uns auch

noch hält aber der server stand

Beitrag von **Himura** » 24.07.2007, 12:56

Himura hat geschrieben:yahoo hat zur Zeit bei mir etwa 250 Bots rumlaufen (im forum)

scheint so als würde er langsam aufgeben... es sind nur noch an die 40 die da rumstreunen, obwohl es fast nen monat immer um die 200 waren.
Scheint so als wäre er langsam fertig^^

Beitrag von **Fox Mulder** » 16.08.2007, 03:55

So Ihr kleinen Slurps, Ihr habt mich das letzte mal aus dem Bett geholt, jetzt bekommt Ihr einen netten 403, bis Eure Mama Euch im Griff hat.

Nacht.

Beitrag von **Holger Grintz** » 17.10.2007, 12:21

Kann es sein, daß die yahoo-spider heute im Streik sind?
Sonst habe ich davon immer so 20 gleichzeitig im Forum.
Habe zur Kontrolle auch mal in anderen boards geschaut, da sind heute auch keine yahoo-crawler zu sehen. HHmmm.

Beitrag von **alex07** » 17.10.2007, 17:20

kann ich auch bestätigen.
vielleicht eine kleine kaffeepause...

Beitrag von **alex07** » 17.10.2007, 17:33

vielleicht ein Indiz für ein yahoo rank update, welches den grünen balken von google bald verdrängt. Der Balken wird dann in Zukunft ROT (Komplementärfarbe von Grün)

Beitrag von **superolli** » 18.10.2007, 07:39

Dann haben wir ja vielleicht bald den Thread "nächstes Yahoo Update"

Beitrag von **alex07** » 18.10.2007, 11:14

Yahoo ist wieder da.
Sieht schon wer ROT?