Seite 1 von 1
Frequenz GoogleBot - Erfahrungswerte?
Verfasst: 24.02.2006, 13:54
von masterblaster
Mich würde interessieren, wie Eure Erfahrungswerte bzgl. der Frequenz des GoogleBots (insbesondere bei großen Sites) aussehen, d.h. wieviele Seiten täglich ca. gespidert werden. Bei uns spidert Google täglich zwischen 3000 und 6000 Seiten. Ist das viel oder wenig, bzw. wie kann man die Anzahl der gespiderten Seiten erhöhen?
Frequenz GoogleBot - Erfahrungswerte?
Verfasst: 24.02.2006, 14:00
von web_worker
ca. 2-3 Aufrufe pro sekunde, derzeit (das ändert sich wöchentlich) ca. 30.000-40.000 seitenabrufe täglich. ist aber ein neues projekt, was gerade deepgespidert wird. die hohe frequenz ist auch erst seit der mozillabot mit spidert. der originäre googlebot kommt nicht so hochfrequent rein...
mir kommts auch so vor, als würde der bot die frequenz analog zur verfügbarkeit/antwortzeit des servers steuern. antwortet der server langsamer fährt der bot die frequenz runter, werden die antwortzeiten wieder kürzer, steigert sich die zugriffsfrequenz wieder...
gruß,
w_w
Frequenz GoogleBot - Erfahrungswerte?
Verfasst: 24.02.2006, 14:12
von Fluidum
Ich hab zwar keine riesen großen Seiten, aber bei mir kommt er mehrmals am Tag mit unterschiedlichen IPs...
Mal zieht er sich Seiten im Sekunden Takt und mal im Minuten Takt, dass zieht sich dann über den Tag hin!
Frequenz GoogleBot - Erfahrungswerte?
Verfasst: 24.02.2006, 14:21
von masterblaster
was bedeutet der mozillabot im gegensatz zum googlebot. Kommt Google dann getarnt?
Frequenz GoogleBot - Erfahrungswerte?
Verfasst: 24.02.2006, 15:16
von marc75
Kommt Google dann getarnt?
nö
