Seite 1 von 1
Googlebot, der Schlawiner.
Verfasst: 18.07.2008, 20:29
von Pompom
Ich weiß nicht, ob das nur bei mir ist, aber auf vielen Domains dreht derzeit nur noch ein Googlebot mit einer speziellen IP die Runden, der gemeine Krempling hat die sonst in Rudeln auftretenden Googlebots alle verjagt und beansprucht das Terrain für sich.
Für das Crawlen lässt er sich viiiel Zeit, nur noch ca. 1/3tel der Seitencrawls wie sonst, und dieser Schlingel kommt 1x als normaler Googlebot und dann wieder mit der gleichen IP als Mediabot.
Habt Ihr das auch schon auf einigen Domains festgestellt ?
Re: Googlebot, der Schlawiner.
Verfasst: 18.07.2008, 22:26
von bond
Pompom hat geschrieben:Habt Ihr das auch schon auf einigen Domains festgestellt ?
Nein, eigentlich nicht.
Verfasst: 19.07.2008, 06:43
von Nutzer0815
bei mir auch nicht - bei mir kommen die immer im 3er Pack
66.249.71.107
66.249.71.106
66.249.71.108
voll die Gang
Verfasst: 19.07.2008, 08:37
von Pompom
Für mich sieht es nach Durchsicht der Logs so aus, als wenn es folgende Änderungen gab:
1.) Es gibt einen zur Server-IP zugeordneten googlebot, und dieser kommt auf den Domains unter der IP nur noch.
2.) Dieser Googlebot übernimmt das normale Crawlen als "Mozilla/5.0 (compatible; Googlebot/2.1; +
https://www.google.com/bot.html)"
und zusätzlich auch das Adsense-Crawlen als "Mediapartners-Google"
Verfasst: 19.07.2008, 12:59
von Runaway
Pompom hat geschrieben:Für mich sieht es nach Durchsicht der Logs so aus, als wenn es folgende Änderungen gab:
1.) Es gibt einen zur Server-IP zugeordneten googlebot, und dieser kommt auf den Domains unter der IP nur noch.
2.) Dieser Googlebot übernimmt das normale Crawlen als "Mozilla/5.0 (compatible; Googlebot/2.1; +
https://www.google.com/bot.html)"
und zusätzlich auch das Adsense-Crawlen als "Mediapartners-Google"
Ja, ist bei mir auch so. Hin und wieder macht er mal ein paar Stunden Pause, ansonsten bleibt er aber über mehrere Tage/Wochen anscheinend fest zugeordnet.
