Adsense-Bot Crawlverhalten

Beitrag von **bull** » 09.02.2005, 10:37

Bislang hat - jedenfalls soweit ich das meinen Logs entnommen habe - der Mediapartners-Googlebot lediglich dann eine Seite geholt, wenn entweder eine Seite mit AS erstmals aufgerufen wurde, eine bereits indizierte Seite mit AS sich verändert hat oder ein anzeigenfinanziertes Opera verwendet wurde. Ich stelle aber seit kurzem bei mehreren Projekten ein eigenständiges Crawlen ohne Seitenaufrufe fest. Es handelt sich um gutes, altes statisches, unverändertes HTML:

Code: Alles auswählen

66.249.65.115 - - &#91;09/Feb/2005&#58;09&#58;26&#58;46 +0100&#93; "GET /foo/bar/a.htm HTTP/1.0" 200 5589 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.161 - - &#91;09/Feb/2005&#58;09&#58;27&#58;06 +0100&#93; "GET /foo/b.html HTTP/1.0" 200 3205 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.115 - - &#91;09/Feb/2005&#58;09&#58;27&#58;07 +0100&#93; "GET /foo/c.html HTTP/1.0" 200 6029 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.116 - - &#91;09/Feb/2005&#58;09&#58;27&#58;09 +0100&#93; "GET /foo/d.html HTTP/1.0" 200 10155 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.108 - - &#91;09/Feb/2005&#58;09&#58;27&#58;15 +0100&#93; "GET /foo/e.html HTTP/1.0" 200 1885 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.116 - - &#91;09/Feb/2005&#58;09&#58;27&#58;22 +0100&#93; "GET /foo/bar/f.htm HTTP/1.0" 200 4060 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.169 - - &#91;09/Feb/2005&#58;09&#58;27&#58;25 +0100&#93; "GET /foo/bar/g.htm HTTP/1.0" 200 7797 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.66.175 - - &#91;09/Feb/2005&#58;09&#58;27&#58;26 +0100&#93; "GET /foo/bar/h.htm HTTP/1.0" 200 3930 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.71 - - &#91;09/Feb/2005&#58;09&#58;27&#58;28 +0100&#93; "GET /foo/bar/i.htm HTTP/1.0" 200 2997 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"
66.249.65.98 - - &#91;09/Feb/2005&#58;09&#58;27&#58;32 +0100&#93; "GET /foo/bar/j.htm HTTP/1.0" 200 5596 "-" "Mediapartners-Google/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;" "-"

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **ts77** » 09.02.2005, 10:45

vielleicht alte seiten, wo mal werbung drauf war?
google weiß ja nicht, bevor es nachsieht, ob sich eine seite vielleicht geändert hat.

daher wäre es *möglich*, dass sie ihren adsense-cache vielleicht auch so immer mal überprüfen um diesen eventuell zu bereinigen.

Beitrag von HW » 09.02.2005, 14:23

jo ist so. Bei mir war der Media Crawler heute Nacht von 1 bis 4 und hat sich alles einverleibt.

Beitrag von **bruko** » 09.02.2005, 14:25

ich war heute morgen auch ganz verduzt über diese Besucher auf einer Domain die erst 4 Wochen alt ist und auf der kein Adsense geschaltet wurde.