Ich habe gerade eine mehr als seltsame Beobachtung in meinen Log-Files gemacht. Ich habe eine Seite (Bilder-Community) im Internet, Google hat da derzeit um die 80.000 Seiten im Index von. Zu jeden Bild wird per mod_rewrite eine Erstellt (Mit Kommentarfunktion, Voting u.s.w.). Als ich nun meine Logs durchgeguckt habe, habe ich etwas gesehen was ich so eigentlich noch nie beim Googlebot gesehen habe. Der Bot holt sich erst die Seite ganz normal 1 Sekunde später (siehe Log-Auszug) ein anderer Bot holt sich dass Bild dazu, dieser hat jedoch keine Bot Kennung in den Logs hinterlassen, zum Beispiel der Image-Bot von Google würde ich hier für ein stinknormales Bild vermuten, aber nixx (siehe Log-Auszug oben). Hat dafür einer, eine nachvollziehbare Erklärung, oder war das schon immer so und ich habe es bloß noch nie so mitbekommen, Danke![### 1 ###].
IP-DATA:
United States - California - Mountain View - Google Inc
Reverse DNS: crawl-66-249-66-203.googlebot.com
NetHandle: NET-66-249-64-0-1
CIDR: 66.249.64.0/19
Parent: NET-66-0-0-0-0
66.249.66.203 - - [24/Apr/2006:04:04:26 +0200] "GET /*****/*****_*****.jpg.html HTTP/1.1" 200 28937 www.*****.de "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)" "-"
[### 2 ###].
IP-DATA:
United States - California - Mountain View - Google Inc
Reverse DNS: crawl-66-249-66-204.googlebot.com
CIDR: 66.249.64.0/19
NetHandle: NET-66-249-64-0-1
Parent: NET-66-0-0-0-0
66.249.66.204 - - [24/Apr/2006:04:04:27 +0200] "GET /*****/*****/*****_*****.jpg HTTP/1.0" 200 89585 www.*****.de "-" "-" "-"