Bei einer meiner Sites hat der Googlebot vorher ca. 20.000 Seiten pro Tag abgerufen. Nun sind es nur noch 2.000 Seiten pro Tag. Ich halte das für eine wesentliche Verbesserung des Crawling-Verhaltens und hoffe, dass Google sich mittelfristig auf diesen Wert einstellt. Denn die Informationen sind nicht so aktuell und die Fluktuation ist nicht so hoch, dass Google 20.000 Seiten pro Tag lesen müsste. Dabei sorgt der geringere Google-Traffic dafür, dass meine Seiten laut Webmastertools um ein Drittel schneller laden! (vorher 1.2 Sekunden, nun 0.8 Sekunden)
Vielleicht ist es ja sogar genau das, was Google neuerdings in die Crawling-Intensität einfließen lässt: der negative Einfluss der Googlebots auf den Server. Oder sie beurteilen jetzt geschickter, wie wesentlich die Änderungen auf dynamischen Seiten wirklich sind, damit die Crawler sich auf wesentliche Änderungen des Internet konzentrieren können. Das passt auch hervorragend zu Caffeine, dank dem ja ganz gezielt Teile des Index neu bewertet werden können.
Archiv
