Googlebot ausbremsen

Beitrag von **OnkelHotte** » 11.01.2007, 15:41

Kann man den Grugelbot irgendwie in seiner Gier bremsen?

von **Anzeige von ABAKUS** »

Beitrag von **everflux** » 11.01.2007, 16:16

Hast Du Sessions für anonyme User aktiviert?
Das ist ja nicht SO viel, es ist nur so, daß er den selben bot scheinbar mehrfach zählt.

Beitrag von **robo47** » 12.01.2007, 02:12

hmm sieht nach 4-5 Zugriffen pro minute aus nur dass sie da noch gelistet werden wenn er schon weg ist. Das ist doch nicht viel ? ansonsten bei google anmelden
https://www.google.com/webmasters/sitemaps/

da kann man das crawl-delay runterstellen.