Seit etwa 2 Wochen beobachte ich ein neues Verhaltensmuster beim Googlebot: Der Bot macht beim Harvesten täglich genau eine Pause, die jeden Tag ein wenig länger wird.
Bisher hat der Googlebot bei von mir betreuten Sites rund um die Uhr Seiten abgeholt. Wenn es mal eine Pause gab, dann nur alle paar Wochen einmal ganz kurz (einmalig; fuer wenige Stunden).
Jetzt (also seit etwa 2 Wochen) macht der Googlebot an jedem Tag eine Pause, die täglich länger wird. Anfangs waren das so etwa 2 Stunden. Inzwischen dauert diese Pause fast 20 Stunden am Tag.
Mich wuerde interessieren, ob andere dieses Muster auch beobachten. Und natuerlich auch, ob jemand dafuer eine plausible Erklaerung hat.
Zum Hintergrund: Ich entwickle und administriere seit vielen Jahren u.a. zwei recht erfolgreiche General-Interest-Sites (Alexa-Top-1000 in DE; je 50M+ PI/Monat). Zwischen beiden Sites gibt es kaum Gemeinsamkeiten - sie werden bei unterschiedlichen Providern gehostet.
Von beiden Seiten hat der Googlebot bisher taeglich jeweils zwischen 500.000 und 1M Seiten gepollt. Seit dem Auftreten des oben beschriebenen Musters vor etwa 2 Wochen hat sich die Anzahl der taeglich vom Googlebot abgerufenen Seiten etwa halbiert. Erstaunlich auch, dass die Harvesting-Pausen bei den beiden Sites ziemlich genau gleichzeitig stattfinden (wie gesagt: sie liegen bei unterschiedlichen Providern).
Der Google-Serp-Traffic scheint (bisher) von dem geaenderten Googlebot-Verhalten unbeeinflusst zu sein. Im Gegenteil: Er steigt derzeit sogar ganz ordentlich.
Die Aktivitaeten des Adsense-Bots sind davon nicht betroffen -- der kommt weiter rund um die Uhr.
Ich freue mich auf Eure Einschaetzung. . .
Archiv
