Crawling-Statistiken (Webmaster Tools)

Hallo Ihr,

ich hätte da eine Frage zur Crawling-Statistik, die momentan folgendes anzeigt:
Anzahl der täglich gecrawlten Seiten
Maximal 12031
Durchschnittlich 3832
Mindestens 18

Meine Frage geht jetzt dahin, warum der Googlebot an ein bis zwei Tagen pro Monat bei uns nur diese mind. 18 Seiten spidert?
Es interessiert mich, weil bei uns hausintern auf Grund eben jener Grafik ein riesen Theater losgegangen ist, denn irgendwann in diesem Frühjahr ging die Crawling-Menge von ca. 5000 Seiten an einem Tag auf 0 am nächsten zurück. Man vermutet (ich war damals noch nicht mit diesem Thema betraut), dass es an einer best. Aktion lag, wo wir von jetzt auf gleich ca. 1000 Seiten zusätzlich live gestellt haben. Das hat man dann rückgängig gemacht und glaubt jetzt, weil die Statistik dann wieder nach oben ging, dass es genau daran lag. Wenn ich mir aber jetzt den Verlauf seither angucke, dann kann ich eben immer wieder feststellen, dass der Googlebot Tage hat, an denen er nur eine Hand voll unserer Seiten spidert, obwohl wir seit dieser Aktion nix außergewöhnliches mehr gemacht haben.
Wie ist das nun: Gibt es für das Spider-Verhalten des Googlebots irgendeine rationale Erklärung, oder macht der wie er meint? Und ihr habt auch alle dieses Phänomen?

also bei meinen Projekten - habe es gerade eben überprüft - crawlt er die durchschnittliche Menge - also immer auf dem selben Niveau... Schwankungen sind normal - er kann nicht täglich immer dieselbe Menge an Dateien crawlen - kommt ja auch drauf an - wofür Google die Ressourcen benötigt - dann hängt es auch von vielen anderen Faktoren ab - PR, Links, Aktualität des Kontents - wenn er Bot immer wieder vorbeischaut und einen 304 vorgersetzt bekommt - also sich nichts geändert hat - dann ist doch wohl klar das er sich den scheiss nicht am nächsten Tag nochmal versucht zu holen...

wenn ihr so viele Seiten online stellt wäre doch ein eigene Crawling Statistik sinnvoll.

Die Angaben in den Webmastertools sind nicht immer aktuell und teilweise auch nicht richtig. Ich bekomme bei meiner eigene Crawling Auswertung fast immer andere Werte raus. Kann natürlich an der unterschiedlichen Auffassung der Statistiken liegen.

Das der Bot mal hackt, kann mit vielem zusammenhängen. Domain Umzug, beschiessnes DNS update. falsche .htaccess, usw.

Manchmal machen die Bots auch Urlaub und kommen recht spärlich oder gar nicht vorbei (siehe dazu einige Beiträge in der Blogosphäre).