Wieviele Seiten crawl ein Webspider pro Sekunde?

[blinkster]

Juden Tag.

Das ist nur eine theoretische Frage. Ich möchte nicht wissen, wie oft der Crawler auf meine Seite zugreift, sondern wieviele Seiten der Google-Crawler pro Sekunde im Schnitt verarbeitet.

Ich habe diesbezüglich auf den Google-Seiten keine Informationen gefunden, genauso wenig, wieviele Crawler im schnitt im Netz unterwegs sind.

mfg
stefan

[linux]

je nachdem wieviele bots bei dir drauf sind.

google hat viele bots ich hatte mal einen fall da waren 3 bots auf einer unseren seiten. es gab ca 1 mil seitenaufrufe am tag.

wir haben z.b einen eigenen spider wo ich einstellen kann wieviele aufrufe er gleichzeit macht der kann bei volllast 100.000 seiten in der stunde aufrufen

wenn du einen linux server hast kannst du auf der konsole mit top sehen wieviele httpd treads gerade offen sind


gruß

linux

[bull]

wieviele Seiten der Google-Crawler pro Sekunde im Schnitt verarbeitet.

Logfile ansehen und Zeiten vergleichen. Mozilla/Googlebot erfahrungsgemäß max. 2 pro Sekunde.

[miccom]

wieviele Seiten der Google-Crawler pro Sekunde im Schnitt verarbeitet.

Logfile ansehen und Zeiten vergleichen. Mozilla/Googlebot erfahrungsgemäß max. 2 pro Sekunde.

Das will er doch nicht wissen, er will wissen wieviel Seiten so ein Crawler insgesamt verarbeiten kann.

[bull]

Ja, wahrscheinlich. Bekenne mich des Überfliegens des Beitrags schuldig.