googlebot ohne user agent unterwegs

[tobsn]

da ich nebenbei immer ein tail -f auf mein access_log hab viel mir auf dass ich seit stunden request bekomme ohne user agent. hab erst gedacht dass ist halt mal wieder so ein anoymitäts spinner aber nachdem ich mal testweise die IP's, die pro request jedesmal anders waren, resolved hab war klar das es google ist...

66.249.71.53 to crawl-66-249-71-53.googlebot.com
66.249.71.13 to crawl-66-249-71-13.googlebot.com

will google nun die scripts austricksen die auf den user agent gehen?

[Anonymous]

wäre doch mal etwas anderes.... er nutzt ja schon länger verschiedene useragents, mal kommt er als googlebot und mal als Netscape

[Hobby-SEO]

Naja, wenn sowohl der User-agent als auch der Referer leer ist, bekommt er von mir nen 403er...

[Nasirea]

Mir ist mal zu Ohren gekommen, dass Tante Google das macht um festzustellen, ob der GoogleBot andere Seiten zu sehen bekommt als der Besucher der Seite. Einmal offiziell besuchen und einmal anonym, danach die Contents vergleichen. Wenn die Inhalte nicht übereinstimmen fliegt die Seite aus dem Index.

Das die dabei so blöd sind, die gleiche IP zu verwenden verstehe ich aber auch nicht.

Im Übrigen finde ich es richtig, dass solche 'Cheater' aus dem Index fliegen....

mfg
Nasirea

[Cash]

Das beobachte ich schon ne ganze Weile bei mir. Ich dachte zuerst das meine Seiten von Hand gecheckt werden aber bei der Menge an Seitenaufrufen konnte das dann nicht mehr sein.

greetz
Cash