Hallo Ihr,
ich hätte da eine Frage zur Crawling-Statistik, die momentan folgendes anzeigt:
Anzahl der täglich gecrawlten Seiten
Maximal 12031
Durchschnittlich 3832
Mindestens 18
Meine Frage geht jetzt dahin, warum der Googlebot an ein bis zwei Tagen pro Monat bei uns nur diese mind. 18 Seiten spidert?
Es interessiert mich, weil bei uns hausintern auf Grund eben jener Grafik ein riesen Theater losgegangen ist, denn irgendwann in diesem Frühjahr ging die Crawling-Menge von ca. 5000 Seiten an einem Tag auf 0 am nächsten zurück. Man vermutet (ich war damals noch nicht mit diesem Thema betraut), dass es an einer best. Aktion lag, wo wir von jetzt auf gleich ca. 1000 Seiten zusätzlich live gestellt haben. Das hat man dann rückgängig gemacht und glaubt jetzt, weil die Statistik dann wieder nach oben ging, dass es genau daran lag. Wenn ich mir aber jetzt den Verlauf seither angucke, dann kann ich eben immer wieder feststellen, dass der Googlebot Tage hat, an denen er nur eine Hand voll unserer Seiten spidert, obwohl wir seit dieser Aktion nix außergewöhnliches mehr gemacht haben.
Wie ist das nun: Gibt es für das Spider-Verhalten des Googlebots irgendeine rationale Erklärung, oder macht der wie er meint? Und ihr habt auch alle dieses Phänomen?
Archiv
