Google spidert zu schnell - Serverlast zu hoch!

[SusanneMelzer]

Help!

Wie kann ich Google ausbremsen?

Mit robots.txt - "crawl-delay 20" klappt es nicht, wird direkt ignoriert lt. Webmaster Tools.

Google produziert massiv Serverlast, da er einfach die Seite zu schnell anfordert und durchwühlt. Gründe warum das so ist, wissen wir noch nicht, jedoch sobald Google nicht mehr aktiv ist, wird es besser.

Per Webmastertools bereits auf "langsam" gestellt, aber es bringt keinen Erfolg. 500-1000 Seiten pro Stunde sind keine Seltenheit. Es überschwemmt ganz einfach total die Datenbank und dadurch den CPU.

Am System selbst haben wir momentan die minimal Config am laufen, alle Tools aus, außer OpenAds und Webalizer. Google Analytics wurde abgeschalten.

Nix mehr aktiv.....

Gibt es noch andere Möglichkeiten ihm zu sagen, dass er nur alle z.b. 20sek eine Seite aufmachen soll?

[Pompom]

Was wollt ihr machen, wenn denn tatsächlich mal paar Besucher auftauchen, die auch einfach aussperren ?

Ich gehe davon aus, dass euer Programm nicht so der Brüller ist, wenn es mit einer Last von 1000 Seitenabrufen pro h nicht zurecht kommt. Hier ist sicher der bessere Ansatz, etwas zu tun, als Robots und User wegzuschicken, weil sich euer System zu viel mit sich selbst beschäftigt.

[SusanneMelzer]

Das ist alles in Arbeit, aber viel machen kann man erstmal nicht. Google blocken ist denke ich mal das schlimmste was man machen kann.

[Pompom]

Man kann z.B. die Seiten über einen Proxy ausliefern lassen, z.B. squid proxy server, falls ein Linux Root Server da ist.

[SusanneMelzer]

Hm....wie soll das genau funktionieren?

Würde es was bringen, wenn man die Datenbank auslagern würde zu einem anderen Server und die Seite selbst dort lassen würde?

[Pompom]

Würde es was bringen, wenn man die Datenbank auslagern würde zu einem anderen Server und die Seite selbst dort lassen würde?

Natürlich bringt das was.
Erster Schritt ist sicher eine Problemanalyse, d.h. wo ist der Engpass ?
RAM ? CPU ? Datenbankarbeit ? Wie groß sind die DBs ? Index auf DB ? Netzwerk ?


Falls der Server wenig RAM hat, kann schon allein das Aufstocken des Arbeitsspeichers eine Entlastung bringen.

[Anonymous]

also wenn 500 - 1.000 Seitenaufrufe bei einem Server schon ein Problem sind, macht ihr definitiv etwas falsch...

achja... Analytics erzteugt keinerlei Last auf eurem Server, also ist es egal ob ihr es nutzt oder nicht...

[SusanneMelzer]

Es basiert auf dem CMS Pligg und lt. den Entwicklern sollte jetzt schon langsam an einen Dedicated Server gedacht werden, wo aber derzeit absolut kein Geld für da ist. Momentan liegt es auf einem Hostingpaket. Für die Last ist das System bekannt, aber vorläufig muß eine Lösung gefunden werden.

[Pompom]

... sollte jetzt schon langsam an einen Dedicated Server gedacht werden

Das ist die Lösung.

Man bekommt in einen VW Golf nun mal auch keine Fußballmannschaft.

[Nuevo Niveau]

Am System selbst haben wir momentan die minimal Config am laufen, alle Tools aus, außer OpenAds und Webalizer. Google Analytics wurde abgeschalten.

Hallo Susanne,

du solltest dringensten mal deine Programmierung von einem Entwickler checken lassen, der sich mit high traffic websites auskennt. Es KANN und DARF nicht sein das so ein "paar" HTTP Requests vom Googlebot deine Seite in die Knie zwingen. Vielleicht auch nen größeren bzw. eigenen Server holen. Wenn der Bot 1000 Seiten pro Stunde spidert scheint die Seite ja auch groß zu sein und gut zu ranken, sonst würde der Bot nicht so fleissig sein.

Ist die Seite eine Eigenentwicklung? Ich tippe mal ganz stark auf Datenbankauslastung.

[linux]

hm ich weiß nicht, wenn Ihr mysql nutzt erstmal slow_queries anschalten, mit sagen wir mal alle abfragen in ein log schreiben die länger als 3 sec dauern!

wenn es linux als betriebssystem ist und man ssh zugang hat mit top nachsehen wieviele prozesse laufen. ob zombies da sind, ob er auf den swap geht...

also 10.000 pis pro stunde sollten auch mit nem virtuellen server kein problem sein

gruß

linux

[SusanneMelzer]

Basiert im großen und ganzen auf dem Pligg CMS, wie gerade schon geschrieben.

Ist ja im Prinzip wie Digg.com, aber der Hauptgrund scheint wohl wirklich die verdammt große Datenbank und die Abwicklung während des Ladens zu sein, da alles über CSS und Co. geregelt wird und viele einzelne Seiten(php) geladen werden, damit sich die Seite aufbaut und jedesmal wird auf die Datenbank zurückgegriffen.

Ich hätte auch nie gedacht, dass das solche ausmaße annimmt.

[Abakus Forengast]

Hast Du schon einmal nachgeschaut ob der "googlebot" nicht ein getarnter andere Bot ist (IP checken!!!)??? Normalerweise spidert Google nicht so schnell, dass es dadurch Probleme mit dem Server geben könnte!

Entweder gibt sich da einer als Googlebot aus und erzeugt dadurch extreme Last oder aber Ihr habt wirklich irgendwelche "Bugs" in der Programmierung/Datenbank!

Gruß Traxx-X

[FireBlade]

Hallo,

also am Google Bot rumspielen is sicher keine gute idee, würde den auch wieder auf normal stellen...

Das Problem was du hast: jegliches Servertuning ist dir eigentlich erst möglich mit minimum einem dedicated Server...

Das Problem muss auch nichtmals bei dir liegen, wenn Du auf einem Shared Server bist, vielleicht sind einfach nur andere grosse Seiten drauf, die die ganze Last dir klauen ...

Wenn wirklich nicht das Geld da ist, dann lass das Projekt erstmal gespidert werden, google kommt ja nicht immer häufig... Die paar User, die Du brauchst um nen vserver zu refinanzieren kommen schon noch
Dann muss man aber "blind" Scriptoptimierungen machen...

[Anonymous]

Naja... wenn es auf einem shared Hosting liegt, benötigt ihr eben einen ded. Server...

alleine die Frage ob ein Auslagern der DB auf einen anderen Server etwas bringt, suggeriert doch schon, das ihr einen ded. Server habt... aber dem ist ja wohl nicht so...

ggf. mal die SQL Abfragen genauer analysieren, ggf. kann durch das setzen einiger weiterer Indexe das problem schon behoben werden...