Ich hab die Besuche von Googlebot mal mit den Vormonaten verglichen. Seit ca. 1 Monat besucht Google ca. 10x so häufig was die Visits betrifft und erzeugt ein paarhundert mal so viele Hits als vorher.
Ich hab die MaxClients im apache2.conf jetzt mal raufgedreht auf 250 (Standardwert 150). Jetzt hab ich einen Load der liegt immer zwischen 1 und 3, dafür werden die Seiten noch geöffnet. Vorher lag der Load zwischen 0,5 und 1, aber dafür gingen die Seiten nicht mehr auf weil zu viele Prozesse offen waren. Angst dass er trotzdem wieder mal völlig ausfällt hab ich schon
Also ich bin irgendwie ratlos. Was soll ich tun? Ich kann doch nicht den Googlebot aussperren
Vielleicht noch was zur Website die es hauptsächlich betrifft:
Es handelt sich um eine Seite wo sehr viel Content vorhanden ist auf diversen Unterseiten - wirklich sehr viel. Aber der Content ist nicht so neu, die Website gibt's seit 2004 wo sich der Content nach und nach aufbaute. Aber die Probleme traten schlagartig auf.
Kann es vielleicht sein, dass die Crawler von Google irgendwie anders arbeiten seit ca. 1 Monat? Hat Google vielleicht ein paartausend Server dazugekauft, dass öfter/intensiver gespidert werden kann? Irgend einen Grund muss es doch geben. Was meint ihr?
