Wann kommt die Spider vorbei??

Beitrag von **cosmoglobe** » 30.04.2006, 17:11

Hi,
woran sehe ich eigentlich wann google mich gespidert hat.Unter was taucht die Spider in meinen Logfiles denn auf ???

Danke wenn mir jemand helfen kann

von **Anzeige von ABAKUS** »

Beitrag von **Windy** » 01.05.2006, 07:53

Bei Google gibts folgende 3 UserAgents (auch wenn eigentlich nur noch der erste großflächige Verwendung findet), die in deinen Logfiles auftauchen können:
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
Googlebot/2.1 (+https://www.googlebot.com/bot.html)
Googlebot/2.1 (+https://www.google.com/bot.html)

Beitrag von **thetrasher** » 01.05.2006, 10:41

https://www.mattcutts.com/blog/crawl-caching-proxy/
Jeder Besuch irgendeines Googleservices kann Daten an den indizierenden Googlebot liefern, so auch "Mediapartners-Google/2.1", "Googlebot-Image/1.0" und der Googlebot-Mobile mit seinem variablen User-Agent-String. Allen gemein ist "Google" in der User-Agent-Kennung, wobei es aber durchaus auch Faker gibt - gegen die hilft nur der Blick auf die IP bzw. reverse DNS & Whois.

Windy hat geschrieben:Googlebot/2.1 (+https://www.googlebot.com/bot.html)
Googlebot/2.1 (+https://www.google.com/bot.html)

Sind die nicht in Rente geschickt worden?

Beitrag von **Windy** » 01.05.2006, 12:45

Ja, neue Crawls dürften durch diese beiden nicht mehr auftauchen.
Manchmal crawlt auch der Adsense Bot, obwohl kein Adsense auf der Domain liegt.