Aaaalso ... sitrix hat da schon recht.
Ich hatte beispielsweise grade Besuch von '64.68.86.138' ... wenn man den mit einem simplen 'ping -a 64.68.86.138' unter windoof oder mit dem tool eurer wahl auflöst, kommt der host 'crawler4.googlebot.com' raus. Wenn ich dann ins Log gucke, steht da :
'64.68.86.138 - - [03/may/2004:00:52:46 +0200] "get /cgi-bin/browse.pl?root/deutsch/online-shops/computer http/1.0" 200 34213 "-" "mediapartners-google/2.1 (+
https://www.googlebot.com/bot.html)" '
Die Betonung liegt auf 'mediapartners-google', was der adsense-googlebot ist, der sich grade meine Seite
https://www.myodp.de/cgi-bin/browse.pl? ... s/computer anguckt, um dort passende Adsense Werbung zu schalten.
= die beiden bots teilen sich die hosts bzw. nutzen die selbe subdomain. Keine Ahnung, ob crawler4 nur für Adsense zuständig ist, aber AFAIK war der bei mir auch schonmal mit nem normalen googlebot ?!