googlebot ohne user agent unterwegs

Beitrag von **tobsn** » 19.02.2006, 19:07

da ich nebenbei immer ein tail -f auf mein access_log hab viel mir auf dass ich seit stunden request bekomme ohne user agent. hab erst gedacht dass ist halt mal wieder so ein anoymitäts spinner aber nachdem ich mal testweise die IP's, die pro request jedesmal anders waren, resolved hab war klar das es google ist...

66.249.71.53 to crawl-66-249-71-53.googlebot.com
66.249.71.13 to crawl-66-249-71-13.googlebot.com

will google nun die scripts austricksen die auf den user agent gehen?

von **Anzeige von ABAKUS** »

Beitrag von **Anonymous** » 19.02.2006, 19:53

wäre doch mal etwas anderes.... er nutzt ja schon länger verschiedene useragents, mal kommt er als googlebot und mal als Netscape

Beitrag von **Hobby-SEO** » 19.02.2006, 20:30

Naja, wenn sowohl der User-agent als auch der Referer leer ist, bekommt er von mir nen 403er...

von **Anzeige von ABAKUS** »

Beitrag von **Nasirea** » 19.02.2006, 22:33

Mir ist mal zu Ohren gekommen, dass Tante Google das macht um festzustellen, ob der GoogleBot andere Seiten zu sehen bekommt als der Besucher der Seite. Einmal offiziell besuchen und einmal anonym, danach die Contents vergleichen. Wenn die Inhalte nicht übereinstimmen fliegt die Seite aus dem Index.

Das die dabei so blöd sind, die gleiche IP zu verwenden verstehe ich aber auch nicht.

Im Übrigen finde ich es richtig, dass solche 'Cheater' aus dem Index fliegen....

mfg
Nasirea

Beitrag von **Cash** » 19.02.2006, 22:42

Das beobachte ich schon ne ganze Weile bei mir. Ich dachte zuerst das meine Seiten von Hand gecheckt werden aber bei der Menge an Seitenaufrufen konnte das dann nicht mehr sein.

greetz
Cash