Wie genau (techn.) spidert Google?

Beitrag von **Smoerble** » 25.05.2004, 08:56

Hoi Leuts,
habe eine Frage:
Wenn der Google-Bot auf meine Seite kommt folgt er ja allen Links. Aber wieviele Seiten spidert er pro Minute? Er wird ja nicht alle Links gleichzeitig hitten, sondern (hoffentlich) Wartezeiten haben. Wie hoch sind die? Und wieviele spidert er "gleichzeitig"?

Hoffe, es kann mir jemand helfen, danke.

von **Anzeige von ABAKUS** »

Beitrag von **dirk** » 25.05.2004, 10:26

Habe grade mal in mein Log von heute geguckt :
Bei mir spidert er alle 20 - 120 Sekunden eine Seite.

Beitrag von **Smoerble** » 25.05.2004, 12:01

Danke... hat noch jemand Erfahrungswerte bitte?

von **Anzeige von ABAKUS** »

Beitrag von **sean** » 25.05.2004, 12:27

Haut hin, 20 Sekunden hält er ein.

sean

Beitrag von **Southmedia** » 25.05.2004, 12:51

Soweit ich das aus dem Kopf weiss war unser Rekord bei ~ 120.000 Googlebotaufrufen an einem Tag (bei einer Domain). Öfters sehe ich hier Werte um 50.000.

Beitrag von **Smoerble** » 25.05.2004, 12:55

Wie finde ich das raus? Gibt es irgend ein Whitepaper? Es geht darum, dass der u.U. die Seite eines Kunden plättet, weil er zu schnell dynamische Seiten spidert, dass muss ich aber irgendwie checken, wie er sich verhält... und die Logfiles hab' ich natürlich nicht...

Beitrag von **dirk** » 25.05.2004, 13:10

Ich denke, dass das unterschiedlich ist und ein wenig von Deiner Seite bzw. den reinkommenden Links, PR, etc. abhängt. So genau wird google das nicht verraten. Das Logfile wäre natürlich vorteilhaft. Andernfalls kannste ja in das Script irgendwas ala

if ( $useragent =~ /googlebot/ ) {
schreibe_log_wohin_auch_immer() ;
}

einbauen. Das wird die Laufzeit dann zwar auch ein wenig erhöhen, aber so viel wird das wohl nicht ausmachen.

Beitrag von **regeurk78** » 25.05.2004, 14:21

Meine Spitzenwerte liegen bei 1-2 Seiten pro Sekunde und Domain. Liegen mehrere solcher Domains auf einem Server, kanns mitunter schon kritisch werden