ABAKUS

Hallo zusammen,

kann es eigentlich sein, dass durch häufigen Besuch des google bots Lastprobleme auf einem Webserver entstehen?

Danke und Gruß

Wenn du Seiten hast, die ordentlich Last auf dem Server verursachen, kann es da schonmal Probleme geben, wenn der Bot nen Großangriff startet und noch ein paar User drauf sind. Kenn ich auch.

Googles Crawler ist recht intelligent aufgebaut. Er besucht Deine Seite immer seltener, wenn die Antwortzeit zu lange dauert. Aber zu Anfang kann das durchaus zu Problemen führen.

du kannst den crawler manuell beeinflussen in den WMT.
Das Maximum was geht ist 1 Seite pro Sekunde.

Langsamer geht natürlich auch.

Lord Lommel hat geschrieben:Wenn du Seiten hast, die ordentlich Last auf dem Server verursachen

Ich würde das eher so formulieren: Wenn die Seiten schlecht auf die Leistung des Servers abgestimmt sind.

Von einem Bot, der alle paar Sekunden eine Seite anfasst und dabei sogar so freundlich ist, mit Last-Modified und Komprimierung zu arbeiten, sowie bei seinen Besuchen die Änderungshäufigkeit beachtet, dürfte kein Server zusammenbrechen.

Google weniger dafür eher Yahoo. Der Yahoo Bot ist mittlerweile bei einigen Projekten von mir komplett ausgesperrt und bei anderen kriegt er ein Crawl Delay....

Mork vom Ork hat geschrieben:

Lord Lommel hat geschrieben:Wenn du Seiten hast, die ordentlich Last auf dem Server verursachen

Ich würde das eher so formulieren: Wenn die Seiten schlecht auf die Leistung des Servers abgestimmt sind.

Oder auch, wenn du nen Webdesigner hast, der auf Rekursion steht. ^^

dirk30 hat geschrieben:Google weniger dafür eher Yahoo. Der Yahoo Bot ist mittlerweile bei einigen Projekten von mir komplett ausgesperrt und bei anderen kriegt er ein Crawl Delay....

Da muss ich dir Recht geben der Rekord bei mir war 240 Bots von Yahoo auf einmal auf einem Projekt ... das doch schon heftig Mit Google hatte ich noch nie solche Probleme.