Yahoo spindert und spindert und...

Beitrag von **Wirths Media** » 08.06.2007, 10:06

Hallo,

hat der Yahoo-Bot die letzten paar Tage zu viel Kaffee bekommen?

Er ist bei mir auf meheren Seiten sehr aktiv..

Hat jemand ähnliches?

Gruß
Daniel

von **Anzeige von ABAKUS** »

Beitrag von **tobbbi** » 08.06.2007, 11:03

exakt das selbe phänomen. Auf meinem Haupt Projekt sind momentan ganze 47 Yahoo crawler... Erklärung? Ich kann es nicht so ganz erklären..

Beitrag von **Andreas I.** » 08.06.2007, 13:13

Ja, bei einer von meinen Seiten auch: Das meiste gecrawle und dazu noch die wenigsten Besucher - Noch weniger als von AskJeeves(!)
Ich glaube, Yahoo hat mich aus welchen Gründen auch immer gebannt und bestraft mich nun mit Crawlertraffic. Naja. Egal...

Beitrag von **gina1smile** » 08.06.2007, 14:48

Bei uns auch auf der Seite ! Unmengen von Yahoo IP.

Beitrag von **wowglider** » 08.06.2007, 22:08

bin seit ca 3-4 monaten im google index, aber yahoo mag mich wohl nicht...

Beitrag von **SeoBlogger.de** » 09.06.2007, 11:02

Ich habe die Beobachtung gemacht dass Yahoo sehr träge ist bis man mal an guten Positionen im index auftaucht. Wenn man allerdings drin ist ist man meist recht stabil gelistet.

Beitrag von **Himura** » 24.06.2007, 18:06

yahoo hat zur Zeit bei mir etwa 250 Bots rumlaufen (im forum)
Ist das noch normal?

Dafür kamen auch diesen monat etwas mehr von Yahoo (200) bis zum 24. und den ganzen letzten Monat nur 203. Naja gegen Google ist das ein Fliegendreck, aber die Bots sind ja auch nicht so beschäftigt...

Beitrag von **Runaway** » 25.06.2007, 10:09

Mit zuviel Kaffe könnte schon sein. Ist so in Fahrt, dass er allerdings bei mir die robots.txt völlig ignoriert.

Beitrag von **Windy** » 25.06.2007, 11:18

Der Yahoo Bot scheint in der letzten Zeit generell aktiver zu sein. Vorher kam er immer nur ein paar mal am Tag bei mir vorbei, jetzt hängen ständig 5-15 Bots bei mir rum.

Beitrag von **djeryk** » 27.06.2007, 19:45

Ich habe mal heute imForum in den letzten 3 Stunden schon 298 Yahoo Bots online gehabt. Insgesamt heute Yahoo! Slurp Suchmaschinen (396)

Ist doch der Wahnsinn oder ?? Google mag mich ja nicht so wie ich es gerne hätte

Beitrag von **CIX88** » 28.06.2007, 07:05

Ist schon irre, habe jetzt auch 1157 unterschiedliche IPs von Yahoo und über 7000 Zugriffe auf einer relativen kleinen Website.
Yahoo muss derzeit überall so heftifen Spider-Zugriffe machen, höre auch von anderen Admins das selbe.

Beitrag von **mihas** » 29.06.2007, 21:17

Bei mir im Forum 250 Bots.
Einfach robots.txt anpassen

Code: Alles auswählen

User-agent&#58; Slurp
Crawl-delay&#58; 60

Beitrag von **Windy** » 02.07.2007, 10:34

Jetzt versucht der schon Seiten zu spidern, die es nicht gibt und die nirgendwo verlinkt sind. Ich hab das WBB und per ModRewrite erzeugt das ja ein Archiv mit URLs im Format /0815/thread.html. Nun versucht Yahoo Slurp auch den Ordner 0815 zu spidern...

Beitrag von **Wirths Media** » 02.07.2007, 13:23

etwa so in der Art???

https://www.abakus-internet-marketing.d ... highlight=

Beitrag von **Windy** » 02.07.2007, 15:39

Nicht ganz. Der Ordner existiert ja nicht real, und außer der thread.html ist darin auch nichts erreichbar oder verlinkt, deswegen wundert mich das ja. Es gibt da nichts, der Spider erzeugt nur tonnenweise 404 Einträge in den Logs.