Ich weiß nicht, ob das nur bei mir ist, aber auf vielen Domains dreht derzeit nur noch ein Googlebot mit einer speziellen IP die Runden, der gemeine Krempling hat die sonst in Rudeln auftretenden Googlebots alle verjagt und beansprucht das Terrain für sich.
Für das Crawlen lässt er sich viiiel Zeit, nur noch ca. 1/3tel der Seitencrawls wie sonst, und dieser Schlingel kommt 1x als normaler Googlebot und dann wieder mit der gleichen IP als Mediabot.
Habt Ihr das auch schon auf einigen Domains festgestellt ?
Archiv
