212.227.109.141 - Googlebot?
Verfasst: 21.05.2005, 10:33
Hallo,
der Bot hat sich an nur einem Tag mehrere 1000e male ausschließlich meiner Startseite gewidmet bei einem Durchschnitt von 25 Seiten / Sekunde. Meine "robots.txt" hat er nie gecrawlt. Als Kennung hat er "Googlebot/2.1 (+https://www.google.com/bot.html)" mitgeschickt. Was ich noch komisch finde ist folgendes: "GET / HTTP/1.0" 301 295 "https://www....."
Gruß
der Bot hat sich an nur einem Tag mehrere 1000e male ausschließlich meiner Startseite gewidmet bei einem Durchschnitt von 25 Seiten / Sekunde. Meine "robots.txt" hat er nie gecrawlt. Als Kennung hat er "Googlebot/2.1 (+https://www.google.com/bot.html)" mitgeschickt. Was ich noch komisch finde ist folgendes: "GET / HTTP/1.0" 301 295 "https://www....."
Gruß
