ABAKUS

marc75 hat geschrieben:

im Moment beobachte ich die Tatsache dass der Yahoo-Robot etwa 6 mal häufiger vorbeischaut als Googlebot.
Vor 2 Monaten war das allerdings noch nicht.

hat google eventuell die Häufigkeit verringert?

Nein Google kommt etwa gleich oft vorbei.
Nachdem ich hier ein wenig rumgeforstet habe, ist der Grund vielleicht der, dass Yahoo sich ersteinmal ein halbes Jahr Zeit nimmt bevor es richtig crawlt.
Zumindest haben das andere User hier ähnlich beschrieben.

kawasi hat geschrieben: Nachdem ich hier ein wenig rumgeforstet habe, ist der Grund vielleicht der, dass Yahoo sich ersteinmal ein halbes Jahr Zeit nimmt bevor es richtig crawlt.
Zumindest haben das andere User hier ähnlich beschrieben.

Das stimmt so ja nicht. Ich habe gerade die letzten paar Wochen ein paar neue Projekte an den Start gebracht und der Yahoo Bot war wenige Stunden nach der Linksetzung schon da zum crwalen und zwar bis in die tiefsten Ebenen. Da kann Google sich ruhig mal eine Scheibe abschneiden.

Unifex hat geschrieben:

kawasi hat geschrieben: Nachdem ich hier ein wenig rumgeforstet habe, ist der Grund vielleicht der, dass Yahoo sich ersteinmal ein halbes Jahr Zeit nimmt bevor es richtig crawlt.
Zumindest haben das andere User hier ähnlich beschrieben.

Das stimmt so ja nicht. Ich habe gerade die letzten paar Wochen ein paar neue Projekte an den Start gebracht und der Yahoo Bot war wenige Stunden nach der Linksetzung schon da zum crwalen und zwar bis in die tiefsten Ebenen. Da kann Google sich ruhig mal eine Scheibe abschneiden.

Die gleich Erfahrung habe auch ich gemacht.

meiner Erfahrung nach ist der Yahoobot schon immer sehr viel aktiver als google. Ich habe zeitweise je über 1000 Yahoobots pro Tag auf meinen Projekten

der Yahoo-bot ist aber auch neugierig und schaut sich url's an, die es garnicht wirklich gibt...

hatte vor tagen eine neue site onlinegestellt, die urls dynamisch mit keywords als Ordnerstruktur per mod_rewrite..

Yahoo hat die site nach dem setzen eines deeplinks innerhalb weniger stunden gefunden und die site abgeholt auf der der deeplink verwies...

die url sah so aus:
www.domain.tld/key1/key2/key3/

kurze zeit später kam er wieder und wollte
www.domain.tld/key1/key2/

haben und bekam natürlich direkt nen 404 vorgesetzt, da diese url vom modrewrite nicht abgefangen wird.... wenn der bot jetzt nicht dumm ist, weis er also dass es eine mod_rewrite SEO Url war...

hab daraufhin die mod_rewrite rules geändert, wenn jetzt ne url mit ordner aufgerufen wird, die es nicht gibt, bekommt er nen 403 vorgesetzt.... also kein wirkliches Indiz, dass es eine mod_rewrite url ist... nen 403 gibts ja auch, wenn in einem ordner keine index.html liegt und das listing des Ordnerinhalts deaktiviert ist...