alleine gestern hat mich Googlebot (66.249.66.2) auf einem Projekt mehr als 156000 mal besucht.
Requests 1-3 mal pro Sekunde und das obwohl ich in den Webmastertools langsame Crawlinggeschwindigkeit eingestellt habe.
Macht Google jetzt auch Belastungstests für Server oder was ist da wieder im Gange?
Hierzu ein kleiner Test von vor ein paar Tagen:
noch nicht von Google erfasstes Keyword in ner relativ contentarmen Unterseite eingerichtet (Seite ist schon seit ein paar Jahren online).
3 Tage hats gedauert bis bis es gelistet war.
Das selbe Keyword auf Startseite gesetzt und ... siehe da, nicht mal 12 Stunden später in den SERPs gesehen.
Was sagts? google is schneller geworden (und frisst auch bei mir ne Menge Traffic)
MIttlerweile nervt der Traffic vom grossen Meister schon so dermaßen, dass ich ihn am liebsten aussperren würd...bei einem Projekt pro Tag jede Seite 11-14x besuchen, bei einer Gesamtanzahl von ~ 11.000 Seiten ist das recht mühsam mitn Traffic
uha, das ist nicht zu verachten.
allerdings ist der Traffic von G schon fast kalkuliert. was Yahoo jetzt macht ist schon fast verantwortungslos. Die sackten letzten Monat mehr Traffic als G von meiner Seite ein.