ABAKUS

Verfasst: **09.02.2005, 10:37**

Bislang hat - jedenfalls soweit ich das meinen Logs entnommen habe - der Mediapartners-Googlebot lediglich dann eine Seite geholt, wenn entweder eine Seite mit AS erstmals aufgerufen wurde, eine bereits indizierte Seite mit AS sich verändert hat oder ein anzeigenfinanziertes Opera verwendet wurde. Ich stelle aber seit kurzem bei mehreren Projekten ein eigenständiges Crawlen ohne Seitenaufrufe fest. Es handelt sich um gutes, altes statisches, unverändertes HTML:

Code: Alles auswählen

66.249.65.115 - - &#91;09/Feb/2005&#58;09&#58;26&#58;46 +0100&#93; "GET /foo/bar/a.htm HTTP/1.0" 200 5589 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.161 - - &#91;09/Feb/2005&#58;09&#58;27&#58;06 +0100&#93; "GET /foo/b.html HTTP/1.0" 200 3205 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.115 - - &#91;09/Feb/2005&#58;09&#58;27&#58;07 +0100&#93; "GET /foo/c.html HTTP/1.0" 200 6029 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.116 - - &#91;09/Feb/2005&#58;09&#58;27&#58;09 +0100&#93; "GET /foo/d.html HTTP/1.0" 200 10155 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.108 - - &#91;09/Feb/2005&#58;09&#58;27&#58;15 +0100&#93; "GET /foo/e.html HTTP/1.0" 200 1885 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.116 - - &#91;09/Feb/2005&#58;09&#58;27&#58;22 +0100&#93; "GET /foo/bar/f.htm HTTP/1.0" 200 4060 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.169 - - &#91;09/Feb/2005&#58;09&#58;27&#58;25 +0100&#93; "GET /foo/bar/g.htm HTTP/1.0" 200 7797 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.66.175 - - &#91;09/Feb/2005&#58;09&#58;27&#58;26 +0100&#93; "GET /foo/bar/h.htm HTTP/1.0" 200 3930 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.71 - - &#91;09/Feb/2005&#58;09&#58;27&#58;28 +0100&#93; "GET /foo/bar/i.htm HTTP/1.0" 200 2997 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.98 - - &#91;09/Feb/2005&#58;09&#58;27&#58;32 +0100&#93; "GET /foo/bar/j.htm HTTP/1.0" 200 5596 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"

Verfasst: **09.02.2005, 10:45**

vielleicht alte seiten, wo mal werbung drauf war?
google weiß ja nicht, bevor es nachsieht, ob sich eine seite vielleicht geändert hat.

daher wäre es *möglich*, dass sie ihren adsense-cache vielleicht auch so immer mal überprüfen um diesen eventuell zu bereinigen.

Verfasst: **09.02.2005, 14:23**

jo ist so. Bei mir war der Media Crawler heute Nacht von 1 bis 4 und hat sich alles einverleibt.

Verfasst: **09.02.2005, 14:25**

ich war heute morgen auch ganz verduzt über diese Besucher auf einer Domain die erst 4 Wochen alt ist und auf der kein Adsense geschaltet wurde.

ABAKUS

Adsense-Bot Crawlverhalten

Adsense-Bot Crawlverhalten

Adsense-Bot Crawlverhalten