Googlebot, der Schlawiner.

[Pompom]

Ich weiß nicht, ob das nur bei mir ist, aber auf vielen Domains dreht derzeit nur noch ein Googlebot mit einer speziellen IP die Runden, der gemeine Krempling hat die sonst in Rudeln auftretenden Googlebots alle verjagt und beansprucht das Terrain für sich.

Für das Crawlen lässt er sich viiiel Zeit, nur noch ca. 1/3tel der Seitencrawls wie sonst, und dieser Schlingel kommt 1x als normaler Googlebot und dann wieder mit der gleichen IP als Mediabot.

Habt Ihr das auch schon auf einigen Domains festgestellt ?

[bond]

Habt Ihr das auch schon auf einigen Domains festgestellt ?

Nein, eigentlich nicht.

[Nutzer0815]

bei mir auch nicht - bei mir kommen die immer im 3er Pack

66.249.71.107
66.249.71.106
66.249.71.108

voll die Gang

[Pompom]

Für mich sieht es nach Durchsicht der Logs so aus, als wenn es folgende Änderungen gab:

1.) Es gibt einen zur Server-IP zugeordneten googlebot, und dieser kommt auf den Domains unter der IP nur noch.

2.) Dieser Googlebot übernimmt das normale Crawlen als "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
und zusätzlich auch das Adsense-Crawlen als "Mediapartners-Google"

[Runaway]

Für mich sieht es nach Durchsicht der Logs so aus, als wenn es folgende Änderungen gab:

1.) Es gibt einen zur Server-IP zugeordneten googlebot, und dieser kommt auf den Domains unter der IP nur noch.

2.) Dieser Googlebot übernimmt das normale Crawlen als "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
und zusätzlich auch das Adsense-Crawlen als "Mediapartners-Google"

Ja, ist bei mir auch so. Hin und wieder macht er mal ein paar Stunden Pause, ansonsten bleibt er aber über mehrere Tage/Wochen anscheinend fest zugeordnet.