Lastprobleme durch google Bot

Beitrag von **herbert00** » 07.07.2009, 11:53

Hallo zusammen,

kann es eigentlich sein, dass durch häufigen Besuch des google bots Lastprobleme auf einem Webserver entstehen?

Danke und Gruß

von **Anzeige von ABAKUS** »

Beitrag von **Lord Lommel** » 07.07.2009, 12:00

Wenn du Seiten hast, die ordentlich Last auf dem Server verursachen, kann es da schonmal Probleme geben, wenn der Bot nen Großangriff startet und noch ein paar User drauf sind. Kenn ich auch.

Beitrag von **mgutt** » 07.07.2009, 14:44

Googles Crawler ist recht intelligent aufgebaut. Er besucht Deine Seite immer seltener, wenn die Antwortzeit zu lange dauert. Aber zu Anfang kann das durchaus zu Problemen führen.

Beitrag von **bennos** » 07.07.2009, 15:23

du kannst den crawler manuell beeinflussen in den WMT.
Das Maximum was geht ist 1 Seite pro Sekunde.

Langsamer geht natürlich auch.

Beitrag von **Mork vom Ork** » 07.07.2009, 16:49

Lord Lommel hat geschrieben:Wenn du Seiten hast, die ordentlich Last auf dem Server verursachen

Ich würde das eher so formulieren: Wenn die Seiten schlecht auf die Leistung des Servers abgestimmt sind.

Von einem Bot, der alle paar Sekunden eine Seite anfasst und dabei sogar so freundlich ist, mit Last-Modified und Komprimierung zu arbeiten, sowie bei seinen Besuchen die Änderungshäufigkeit beachtet, dürfte kein Server zusammenbrechen.

Beitrag von **dirk30** » 08.07.2009, 08:34

Google weniger dafür eher Yahoo. Der Yahoo Bot ist mittlerweile bei einigen Projekten von mir komplett ausgesperrt und bei anderen kriegt er ein Crawl Delay....

Beitrag von **Lord Lommel** » 08.07.2009, 08:38

Mork vom Ork hat geschrieben:
Lord Lommel hat geschrieben:Wenn du Seiten hast, die ordentlich Last auf dem Server verursachen
Ich würde das eher so formulieren: Wenn die Seiten schlecht auf die Leistung des Servers abgestimmt sind.

Oder auch, wenn du nen Webdesigner hast, der auf Rekursion steht. ^^

Beitrag von **MBDealer** » 08.07.2009, 08:40

dirk30 hat geschrieben:Google weniger dafür eher Yahoo. Der Yahoo Bot ist mittlerweile bei einigen Projekten von mir komplett ausgesperrt und bei anderen kriegt er ein Crawl Delay....

Da muss ich dir Recht geben der Rekord bei mir war 240 Bots von Yahoo auf einmal auf einem Projekt ... das doch schon heftig

Mit Google hatte ich noch nie solche Probleme.