ich habe gerade in meinem Google Sitemap Account entdeckt, dass man dort die Crawlinggeschwindigkeit sehen und einstellen kann.
Hier ein kleiner Auszug zur Erläuterung:
"
Google sammelt Dokumente im Web mithilfe von Googlebot, dem Web-Crawler von Google. Belassen Sie die Einstellung Normal, es sei denn, die aktuelle Geschwindigkeit, mit der Googlebot Ihren Server crawlt, verursacht Probleme.
Die Geschwindigkeit, mit der Googlebot crawlt, basiert auf vielen Faktoren. Zurzeit spielt die Crawl-Geschwindigkeit beim Crawling Ihrer Website keine Rolle. Sollte sich dies ändern, wird die Option Schneller verfügbar.
Ihre aktuelle Geschwindigkeit Neue Crawling-Geschwindigkeit auswählen [?]
Normal
Schneller Ein schnelleres Crawling ermöglicht zwar ein schnelles Durchsuchen Ihrer Website, belastet Ihren Server aber in höherem Maße.
Normal Empfohlene Crawling-Geschwindigkeit
Langsamer Eine geringere Crawling-Geschwindigkeit reduziert den von Googlebot verursachten Traffic auf Ihrem Server. Dadurch kann jedoch Ihre Website nicht so oft gecrawlt werden.