Seite 1 von 1
Wann kommt die Spider vorbei??
Verfasst: 30.04.2006, 17:11
von cosmoglobe
Hi,
woran sehe ich eigentlich wann google mich gespidert hat.Unter was taucht die Spider in meinen Logfiles denn auf ???
Danke wenn mir jemand helfen kann
Verfasst: 01.05.2006, 07:53
von Windy
Bei Google gibts folgende 3 UserAgents (auch wenn eigentlich nur noch der erste großflächige Verwendung findet), die in deinen Logfiles auftauchen können:
Mozilla/5.0 (compatible; Googlebot/2.1; +
https://www.google.com/bot.html)
Googlebot/2.1 (+
https://www.googlebot.com/bot.html)
Googlebot/2.1 (+
https://www.google.com/bot.html)
Verfasst: 01.05.2006, 10:41
von thetrasher
https://www.mattcutts.com/blog/crawl-caching-proxy/
Jeder Besuch irgendeines Googleservices
kann Daten an den indizierenden Googlebot liefern, so auch "Mediapartners-Google/2.1", "Googlebot-Image/1.0" und der Googlebot-Mobile mit seinem variablen User-Agent-String. Allen gemein ist "Google" in der User-Agent-Kennung, wobei es aber durchaus auch Faker gibt - gegen die hilft nur der Blick auf die IP bzw. reverse DNS & Whois.
Sind die nicht in Rente geschickt worden?
Verfasst: 01.05.2006, 12:45
von Windy
Ja, neue Crawls dürften durch diese beiden nicht mehr auftauchen.
Manchmal crawlt auch der Adsense Bot, obwohl kein Adsense auf der Domain liegt.
