Wie genau (techn.) spidert Google?

[Smoerble]

Hoi Leuts,
habe eine Frage:
Wenn der Google-Bot auf meine Seite kommt folgt er ja allen Links. Aber wieviele Seiten spidert er pro Minute? Er wird ja nicht alle Links gleichzeitig hitten, sondern (hoffentlich) Wartezeiten haben. Wie hoch sind die? Und wieviele spidert er "gleichzeitig"?

Hoffe, es kann mir jemand helfen, danke.

[dirk]

Habe grade mal in mein Log von heute geguckt :
Bei mir spidert er alle 20 - 120 Sekunden eine Seite.

[Smoerble]

Danke... hat noch jemand Erfahrungswerte bitte?

[sean]

Haut hin, 20 Sekunden hält er ein.

sean

[Southmedia]

Soweit ich das aus dem Kopf weiss war unser Rekord bei ~ 120.000 Googlebotaufrufen an einem Tag (bei einer Domain). Öfters sehe ich hier Werte um 50.000.

[Smoerble]

Wie finde ich das raus? Gibt es irgend ein Whitepaper? Es geht darum, dass der u.U. die Seite eines Kunden plättet, weil er zu schnell dynamische Seiten spidert, dass muss ich aber irgendwie checken, wie er sich verhält... und die Logfiles hab' ich natürlich nicht...

[dirk]

Ich denke, dass das unterschiedlich ist und ein wenig von Deiner Seite bzw. den reinkommenden Links, PR, etc. abhängt. So genau wird google das nicht verraten. Das Logfile wäre natürlich vorteilhaft. Andernfalls kannste ja in das Script irgendwas ala

if ( $useragent =~ /googlebot/ ) {
schreibe_log_wohin_auch_immer() ;
}

einbauen. Das wird die Laufzeit dann zwar auch ein wenig erhöhen, aber so viel wird das wohl nicht ausmachen.

[regeurk78]

Meine Spitzenwerte liegen bei 1-2 Seiten pro Sekunde und Domain. Liegen mehrere solcher Domains auf einem Server, kanns mitunter schon kritisch werden