Wieviele Seiten crawl ein Webspider pro Sekunde?

Beitrag von **blinkster** » 30.08.2006, 13:24

Juden Tag.

Das ist nur eine theoretische Frage. Ich möchte nicht wissen, wie oft der Crawler auf meine Seite zugreift, sondern wieviele Seiten der Google-Crawler pro Sekunde im Schnitt verarbeitet.

Ich habe diesbezüglich auf den Google-Seiten keine Informationen gefunden, genauso wenig, wieviele Crawler im schnitt im Netz unterwegs sind.

mfg
stefan

von **Anzeige von ABAKUS** »

Beitrag von **linux** » 30.08.2006, 15:19

je nachdem wieviele bots bei dir drauf sind.

google hat viele bots ich hatte mal einen fall da waren 3 bots auf einer unseren seiten. es gab ca 1 mil seitenaufrufe am tag.

wir haben z.b einen eigenen spider wo ich einstellen kann wieviele aufrufe er gleichzeit macht der kann bei volllast 100.000 seiten in der stunde aufrufen

wenn du einen linux server hast kannst du auf der konsole mit top sehen wieviele httpd treads gerade offen sind

gruß

linux

Beitrag von **bull** » 30.08.2006, 17:10

wieviele Seiten der Google-Crawler pro Sekunde im Schnitt verarbeitet.

Logfile ansehen und Zeiten vergleichen. Mozilla/Googlebot erfahrungsgemäß max. 2 pro Sekunde.

Beitrag von **miccom** » 30.08.2006, 18:25

bull hat geschrieben:
wieviele Seiten der Google-Crawler pro Sekunde im Schnitt verarbeitet.
Logfile ansehen und Zeiten vergleichen. Mozilla/Googlebot erfahrungsgemäß max. 2 pro Sekunde.

Das will er doch nicht wissen, er will wissen wieviel Seiten so ein Crawler insgesamt verarbeiten kann.

Beitrag von **bull** » 30.08.2006, 18:49

Ja, wahrscheinlich. Bekenne mich des Überfliegens des Beitrags schuldig.