Google spidert zu schnell - Serverlast zu hoch!

Beitrag von **SusanneMelzer** » 10.01.2008, 12:50

net(t)worker hat geschrieben: ggf. mal die SQL Abfragen genauer analysieren, ggf. kann durch das setzen einiger weiterer Indexe das problem schon behoben werden...

Das wurde im Prinzip schon bis zum Ende ausgereizt.....

von **Anzeige von ABAKUS** »

Beitrag von **Nuevo Niveau** » 10.01.2008, 12:53

SusanneMelzer hat geschrieben:Basiert im großen und ganzen auf dem Pligg CMS, wie gerade schon geschrieben.

Sorry - überlesen! Das mit dem Bot checken ist eine gute Idee, du kannst in den Google Webmastertools auch sehen, wieviel der Bot spidert:
"Dashboard > Tools > Crawling-Geschwindigkeit festlegen" - da bekommt man nen groben Richtwert - ansonsten IP checken, ob da ein anderer Bot unterwegs ist.

Kenne mich mit pligg zu wenig aus, aber versuch mal das Perfomance Monster etwas zu zähmen, es scheint nicht nur dir so zu gehen:

https://forums.pligg.com/core-developme ... aling.html

Sonst vielleicht Server Caching benutzen, google mal nach Zend Encoder/Optimizer oder MMTurck Cache

Beitrag von **SusanneMelzer** » 10.01.2008, 13:12

Das mit dem Bot stimmt, es waren in den letzen Tagen höchstens 8743 und minimum 312 Seiten die gespidert wurden.

Beitrag von **Ju-Hu!** » 10.01.2008, 13:41

Meine Lösung, als ich mal so ein Problem hatte: ich habe den Bot zappeln lassen und an meine Ordnung gewöhnt.

Der war so schnell und jede Seite generierte "zig" Abfragen, daß die DB streikte. Ich baute im PHP Teil sleep() ein und regelte die Verzögerungszeit "dynamisch" per Zufall, jeder Bot wure im vorgegeben Rahmen mehr oder weniger gebremmst, sie mußten sich "antellen" (warten)*g*

Beitrag von **Pompom** » 10.01.2008, 14:26

Prima Lösung

Ich habe eine andere Lösung:
Schickt alles, Bot + User, zu mir.
Ich freue mich auch, wenn der Bot schön am Grasen ist. Auf meinen Domains darf er auch über Nacht bleigen.

Beitrag von **Ju-Hu!** » 10.01.2008, 14:33

@pompom

Klar, für einige zum schmunzeln *g*. Kann sich aber nicht jeder einen Server leisten, der mind. 350.000 PI's am Tag verkraftet *g*. Ich weiß nicht, wieviele Zugriffe Du hast, aber stell Dir mal vor, Deine Projekte schmieren ab, weil der Server plötzlich die Last nicht mitmacht. Dann würdest Du eher bitten, daß man Dir ein paar Spider abnimmt. Hauptsache Deine Seite ist teilweise noch erreichbar *fg*.

Beitrag von **Fox Mulder** » 10.01.2008, 14:42

Query Caching auf MySQL oder Anwendungsbasis bringt oft eine schnelle Problemlösung.
Danach hast Du Zeit die Übeltäter wie langsame Querys und fehlende Indizes zu suchen.
Schau mal ob Deine Anwendung evtl. auch Möglichkeiten zum Template Caching bietet, das hilft auch auf die schnelle.

Beitrag von **Nuevo Niveau** » 10.01.2008, 14:43

Ju-Hu! hat geschrieben:Kann sich aber nicht jeder einen Server leisten, der mind. 350.000 PI's am Tag verkraftet .

Wer 350.000 PI´s am Tag hat und sich KEINEN Server leisten kann, der ist entweder dumm oder sollte die Branche wechseln

Beitrag von **emel** » 10.01.2008, 14:48

Vor allem da es dedicates schon ab 8 Euro gibt

Beitrag von **Pompom** » 10.01.2008, 14:48

Ich weiß nicht, wieviele Zugriffe Du hast, aber stell Dir mal vor, Deine Projekte schmieren ab, weil der Server plötzlich die Last nicht mitmacht.

Dann würde ich mich freuen.
Weil: DAS wären dann 6-stellige Euronen pro Tag.
Und mir würde sicher etwas einfallen, dass es weiter gehen kann und die nicht (mehr) abschmieren.

Beitrag von **Ju-Hu!** » 10.01.2008, 14:57

@Fox Mulder

Hallo *g*,
Ich selber habe keine graviereden DB Probleme mehr *g*. Diese "Verzögerungstaktik" mußte ich notgedrungen vor einigen Jahren nutzen, als ich noch ein Hostingpaket bei 1und1 hatte. War eine Notlösung um Spitzen abzufangen. Wenn plötzlich so ein wildes Rudel ankam, war ich erschlagen *g*. Später legte ich mir mal lieber eigene Server zu. Aber wenn man keinen eigenen Server hat, wie der Thread-Eröffner, lediglich 1.000 Anfragen pro Stunde verzeichnet und dennoch die Seite hängt , sollte so eine Verzögerungstaktik funktionieren, um die Last zu bügeln. Wobei ich mich frage, wie man bei 1.000 PI/Stunde Probleme bekommen kann .... *g*.

Beitrag von **Ju-Hu!** » 10.01.2008, 15:06

@Nuevo Niveau

Ich glaube es wurde etwas mißverstanden *g*. Klingt so, als sei Dein Posting auf mich gemünzt. Wäre mir natürlich peinlich *g*. Was von 350.000 PI's erzählen und kein Geld für einen Server zu haben, der dies verkraftet. Nun, da sollte ich mal ausdrücklich gegen posten, daß ich keine Perfomanceprobleme habe *g*. Hinzu kommt: die PI Zahlen treten bei einem Freund und "Kollegen" auf. Doch auch er kann sich seine 3 Server leisten *g*.

Na, was meinte ich den nun? *g*.
Das der Thread-öffner zu denen gehört, die sich nicht so einen Server leisten können.... der bissel was abkann *g*

Da muß sich keiner angekratzt fühlen ... *g*

Beitrag von **Ju-Hu!** » 10.01.2008, 15:12

Vor allem da es dedicates schon ab 8 Euro gibt

Echt? Einen dedizierten Server, der nur mir gehört, für 8 EUR? Mit 80 GB HD, 1MB RAM und aktueller CPU?
Nicht so einen virtuellen Server, den es schon ab 7,99 EUR gibt? *g*

Beitrag von **Ju-Hu!** » 10.01.2008, 15:28

@Pompom

Naja, Du hast ja noch nicht gesagt, ab welcher Last Dein Server abschmiert, was Dich dann glücklich machen würde *g*. Der Thread Eröffner geht schon bei 500/Stunde baden - und Du? *g*

Ist mir aber unerklärlich, wieso das thematisiert wird? Liegt es an der PI Zahl? Sorry, tut mir leid, aber ich habe das Gefühl, daß bei dieser (nicht aussagefähigen) Zahl plötzlich einige sich gestichelt fühlen und nun auf diesem Thema herum kauen (Ich eingeschlossen *g*)

Hat ja keiner behauptet, daß Genosse XYZ damit Probleme hat oder zu doof ist *g*.
Außerdem sagen diese PI Zahlen, wenn mal ein Spider kommt, nichts aus. Es ist ein Shoppingportal. Und wenn da der Spider kommt, geht der jeden dusseligen Link nach, wie das nunmal sein Job ist.
Sind 350.000 PI's, durch Spider verursacht, viel und sagen etwas sinnvolles über den "Geschäftsumfang"? Nee.

Recht haste aber. Wwenn man dort Adsense draufknallt, hätte man schon einen ordentlichen Batzen. Dummerweise will unser "350.000 PI Man" frei von Werbung bleiben - seine Server kann er aber dennoch zahlen *g*

Beitrag von **Fridaynite** » 10.01.2008, 17:26

Was soll das denn überhaupt sein? Ein Server, der mit 1 Besucher alle 3 Sekunden nicht zurecht kommt, ist ja wohl gar nicht denkbar. Das konnten schon die alten Commodore C64 Computer. Ich würde mir dringend überlegen, ob Du Dein Script nicht in die Tonne klopfen solltest..