Frequenz GoogleBot - Erfahrungswerte?

[masterblaster]

Mich würde interessieren, wie Eure Erfahrungswerte bzgl. der Frequenz des GoogleBots (insbesondere bei großen Sites) aussehen, d.h. wieviele Seiten täglich ca. gespidert werden. Bei uns spidert Google täglich zwischen 3000 und 6000 Seiten. Ist das viel oder wenig, bzw. wie kann man die Anzahl der gespiderten Seiten erhöhen?

[web_worker]

ca. 2-3 Aufrufe pro sekunde, derzeit (das ändert sich wöchentlich) ca. 30.000-40.000 seitenabrufe täglich. ist aber ein neues projekt, was gerade deepgespidert wird. die hohe frequenz ist auch erst seit der mozillabot mit spidert. der originäre googlebot kommt nicht so hochfrequent rein...

mir kommts auch so vor, als würde der bot die frequenz analog zur verfügbarkeit/antwortzeit des servers steuern. antwortet der server langsamer fährt der bot die frequenz runter, werden die antwortzeiten wieder kürzer, steigert sich die zugriffsfrequenz wieder...

gruß,
w_w

[Fluidum]

Ich hab zwar keine riesen großen Seiten, aber bei mir kommt er mehrmals am Tag mit unterschiedlichen IPs...

Mal zieht er sich Seiten im Sekunden Takt und mal im Minuten Takt, dass zieht sich dann über den Tag hin!

[masterblaster]

was bedeutet der mozillabot im gegensatz zum googlebot. Kommt Google dann getarnt?

[marc75]

Kommt Google dann getarnt?

nö