Google Bot zu anhänglich ? erzeugt 20GB am Tag
Verfasst: 04.08.2010, 07:34
Seit 1.8. ist der Google Bot mein größter Besucher. Statt der üblichen 70GB im Monat macht mein Server 20 GB am Tag.
Ich habe zwar viele Seiten zum ansehen, aber es sieht so aus als würde der Bot jede einzelne dauernd laden.
Nachdem ich in den robot,txt Google verboten habe, ist wieder alles normal. Aber das sollte ja nicht sein - ohne Google sieht es schlecht aus.
Die Webmastertools zeigen "normale" Besuchsmengen an.
Kennt das jemand.
Clausi
Ich habe zwar viele Seiten zum ansehen, aber es sieht so aus als würde der Bot jede einzelne dauernd laden.
Nachdem ich in den robot,txt Google verboten habe, ist wieder alles normal. Aber das sollte ja nicht sein - ohne Google sieht es schlecht aus.
Die Webmastertools zeigen "normale" Besuchsmengen an.
Kennt das jemand.
Clausi