ABAKUS

Googlebot besucht meine Seiten in letzter Zeit sehr häufig. Das ist eigentlich ja positiv, aber er besucht so intensiv, das der Server inzwischen das nicht mehr verträgt. Es werden wahnsinnig viele Apache-Prozesse gleichzeitig gestartet, der Apache-Dienst fällt 1 bis 2x pro Tag ganz aus

Ich hab die Besuche von Googlebot mal mit den Vormonaten verglichen. Seit ca. 1 Monat besucht Google ca. 10x so häufig was die Visits betrifft und erzeugt ein paarhundert mal so viele Hits als vorher.

Ich hab die MaxClients im apache2.conf jetzt mal raufgedreht auf 250 (Standardwert 150). Jetzt hab ich einen Load der liegt immer zwischen 1 und 3, dafür werden die Seiten noch geöffnet. Vorher lag der Load zwischen 0,5 und 1, aber dafür gingen die Seiten nicht mehr auf weil zu viele Prozesse offen waren. Angst dass er trotzdem wieder mal völlig ausfällt hab ich schon

Also ich bin irgendwie ratlos. Was soll ich tun? Ich kann doch nicht den Googlebot aussperren

Vielleicht noch was zur Website die es hauptsächlich betrifft:
Es handelt sich um eine Seite wo sehr viel Content vorhanden ist auf diversen Unterseiten - wirklich sehr viel. Aber der Content ist nicht so neu, die Website gibt's seit 2004 wo sich der Content nach und nach aufbaute. Aber die Probleme traten schlagartig auf.

Kann es vielleicht sein, dass die Crawler von Google irgendwie anders arbeiten seit ca. 1 Monat? Hat Google vielleicht ein paartausend Server dazugekauft, dass öfter/intensiver gespidert werden kann? Irgend einen Grund muss es doch geben. Was meint ihr?

was ist bei dir viel? 1 mil mal am tag pro domain? was für ein server ist das ram, cpu...
man kann sicher mit ner einstellungen was machen, aber dazu sind diese angaben nötig

gruß

linux

Ich habe das Problem auch gehabt. Ich hatte leider Session IDs an meinen Seiten die Google munter verfolgte. Das konnte ich aber abstellen. Dir empfehle ich aber in den Webmastertools den Punkt: Crawling-Geschwindigkeit festlegen" zu wählen und dort auf "Langsam" zu schalten. Das wirkt sofort.


Stürmische Grüße