Spiderbesuch uralter Seiten.
Verfasst: 29.10.2004, 12:19
Hallo zusammen,
mir ist in den logs für gestern was merkwürdiges aufgefallen.
Der Googlebot mit der IP 66.249.66.206 (!!!) hat doch vergangene Nacht tatsächlich versucht Seiten zu spidern, die seit über einem Jahr nicht mehr online sind, und auch schon seit Monaten in keinem Index auf irgendeinem Googleserver enthalten sind.
Vor allem die IP wundert mich, da er sich für den Server offiziell als Mozilla/5.0 ausgibt (Glaube, das wir zu dem Thema schon einen Thread hatten, oder?).
Hat jemand ähnliche Erfahrungen, oder weiss jemand, wo dieser uralte Datenbestand von Google herkommt?
Gruß
slinky
mir ist in den logs für gestern was merkwürdiges aufgefallen.
Der Googlebot mit der IP 66.249.66.206 (!!!) hat doch vergangene Nacht tatsächlich versucht Seiten zu spidern, die seit über einem Jahr nicht mehr online sind, und auch schon seit Monaten in keinem Index auf irgendeinem Googleserver enthalten sind.
Vor allem die IP wundert mich, da er sich für den Server offiziell als Mozilla/5.0 ausgibt (Glaube, das wir zu dem Thema schon einen Thread hatten, oder?).
Hat jemand ähnliche Erfahrungen, oder weiss jemand, wo dieser uralte Datenbestand von Google herkommt?
Gruß
slinky