Piwik und Serverlast

Beitrag von **oceans4** » 07.03.2011, 01:05

Hallo zusammen,
wir experimentieren aus grundsätzlichen Überlegungen gerade mit Piwik herum. Nach Installation treten jetzt sehr undifferenzierte Probleme auf, ein paar Mal war das betreffende Web sogar weg und der Server musste neu gestartet werden. Gibt es klassische Böcke, die man bauen kann? und zweitens: Wie sieht es mit der von unserem Programmierer postulierten großen Ressourcenaufwand aus, den Piwik anscheinend braucht.

Für offene, zielführende Antworten oder Meinungen wäre ich Euch sehr dankbar!

Viele Grüße
o4

von **Anzeige von ABAKUS** »

Beitrag von **gerd_w** » 07.03.2011, 08:35

Hallo,

meiner Erfahrung nach ist es wichtig die Archivierung der Berichte nicht vom Browser auslösen zu lassen, sondern unbedingt einen Cronjob einzurichten.
Auf die Ansicht des Real Time Widgets hat dies keine Auswirkung, aber alle anderen Werte werden dann immer nur Stündlich (oder was du einstellst) nach dem Cronjob aktualisiert.
Bei vielen Zugriffen ist es sonst nur sehr zäh zu nutzen.
Ansonsten wächst halt die DB ziemlich zügig und es gibt derzeit leider noch keine One-Button-Lösung

um ganz alte Daten aus der DB zu löschen, um diese wieder zu verkleinern. Also ein wenig Platz sollte auf dem Server vorhanden sein

Beitrag von **Garfield** » 07.03.2011, 09:27

@Oceans4:
Der Bock, wie du's nennst, war bei mir die Installation von Piwik.

Piwik hat bei mir (Forum, 1.5 - 2 Mio. PI's pro Monat) nach nicht mal 2 Tagen zur kompletten Lähmung des Servers geführt und war deshalb ganz schnell wieder raus.

Falls du ne Lösung kennst, wäre es prima - ansich gefällt mir das Script nämlich gut.

Beitrag von **Lord Lommel** » 07.03.2011, 09:49

Bei 2 Mio. PIs im Monat wär dein Server eh pulverisiert worden, wenn du nen Report angefordert hättest. Ich weiß gar nicht, ob man das bei solchen Datenmengen dur einen kleinen Mod gehändelt kriegt. Könnte man evtl. durch eine Partitionierung der Datenbanktabellen lösen.

Beitrag von **pimpi** » 07.03.2011, 09:53

Bei mir ist piwik auch wieder geflogen, die Datenbank ist einfach abgekackt auf dem Server. Nettes Tool, aber ohne eigenen Server der Leistung bringt nicht tauglich. Nun läuft wieder analytics mit dem hideIP Dings.

Beitrag von **everflux** » 09.03.2011, 12:11

Ich weiss auch nicht ob piwik bei nur leicht groesseren als ganz-kleinen Seiten betreibbar ist. Vielleicht waere da statt mysql eine nosql Datenbank auch besser gewesen.
Wirklich schade, denn ich sehe da viel Potential.

Beitrag von **Lord Lommel** » 09.03.2011, 12:34

MySQL ist für die Zwecke eigentlich recht ideal. Das Problem liegt wohl eher in der SQL-Programmierung selber.

Beitrag von **oceans4** » 17.03.2011, 14:43

Danke für Eure Antworten. Das klingt so, wie wir uns das schon dachten. Im Grundsatz / im Konjunktiv / in der Theorie cool, aber wenn man es pragmatisch verwenden will, eher schwierig. Also ganz normaler Programmierer-Wahnsinn

Wir kehren dann vorerst wieder zu Analytics zurück. Wenn jemand Alternativen hat, würde ich mich freuen.

Viele Grüße
o4

Beitrag von **seonewbie** » 17.03.2011, 14:58

Piwik läuft sehr sauber wenn ihr Probleme habt liegt das
vermutlich daran das euer admin die MySql Dateien
anpassen muß. Allerdings war euer Server dann schon
vorher alles andere als optimal eingestellt.

Nutzt mal folgenden Guide aus dem Server Support Forum:
https://serversupportforum.de/forum/sql ... cript.html

Quellen:
https://www.day32.com/MySQL/
https://mysqltuner.pl/mysqltuner.pl

@Lord Lommel
Das sollte aber gehen. MySql arbeitet ja mit Zeigern. Das Problem entsteht
ja erst wenn man z.B. das gesammte letzte Jahr anfordert und Du nur einen SATA Controller hast (ich empfehle immer SCSI oder SAS) weil er dann ja auch Archieve nutzen muß um die Statistik zu erstellen.

Beitrag von **Synonym** » 17.03.2011, 16:27

Also ich muss Lord da recht geben, das ganze liegt sehr stark am Script. Nutze Piwik nun schon 8 Monate und kenne die Serverbelastung sehr gut... Gibt Momente, da geht fast gar nichts mehr.... Und meine Server-Limits sind weit über den "geforderten" Werten aus der Doku...

Das Problem ist, bei Archiven, beim Archivieren und auch bei den Statistiken, dass da sehr viele Queries auf einmal abgesetzt werden. Da kann man schon viel zusammenfassen. Hauptproblem sind aber die Datenmengen. Kann gut sein, dass da 400 oder 500 MB eingelesen, in ein Array abgelegt, mit foreach durchlaufen und die Values dann wieder neu "gespeichert" werden - als Ergbnis erhält man dann nur eine Zahl. Also ein riesen Aufwand für ein simples Ergebnis. So ist man da recht schnell bei einem Speicherverbrauch von mehr als 600 MB. Mein bemerkter Spitzenwert lag bei 1,2 GB - nur für einen PHP-Prozess...

Und die SQL-Queries selbst sind auch sehr unsauber, teilweise nur Winzigkeiten, aber unsauber. Muss es sein, dass man etwa 87 Leerzeichen mit überträgt? Gut, schaut schön gegliedert aus, aber sinnvoll ist das nicht. Oder diese ganzen "SELECT * FROM ..."... Ich bezweifle, dass da immer alles an Daten benötigt wird.

Ich würde mal behaupten, dass man aus dem Code, wenn er denn vernünftig aufgeräumt und optimiert wäre, nochmals 20-30% mehr an Leistung heraus holen könnte.

Beitrag von **seonewbie** » 18.03.2011, 15:11

Ich glaube ich weiß die Lösung warum das bei uns nicht passiert.

Wir haben einen PC wo Piwik im Browser ständig geöffnet ist.
Piwik macht einen automatischen refresh und stößt so vermutlich
die Archivierung und diverse Prozesse regelmäßig an wo durch
die Last vermutlich verteilt wird.

Probiert einfach mal einen Browser mit Piwik und "Alle Webseiten"
offen zu lassen. Banal aber das könnte schon Abhilfe verschaffen.
Wenn das die Lösung ist kann man e.v.t. mit ein paar Cronjobs
nachhelfen.

Gruß

Micha

Beitrag von **Synonym** » 18.03.2011, 15:21

@seonewbie
Um wie viele Zugriffszahlen und Webseiten geht es bei Dir denn? Deine Erklärung dürfte aber keine Lösung sein, denn Piwik bearbeitet dann immer den kompletten Datenstrom vom ganzen Tag. Auch wenn man die Archivierung per Cron macht, es ist immer der ganze Tag. Daher bringt es z.B. auch nichts, wenn der Cron alle 30 Minuten läuft. Erst am Folgetag werden die Daten vom Vortag komplett verarbeitet.

Also meine Werte sind etwa für Feb 2011:
PI: 1,8 Mio
Webseiten: 42

Beitrag von **pimpi** » 18.03.2011, 15:29

Ich bin zwar nicht der seonewbie, antworte aber trotzdem mal. Ich habe piwik extra für alle Seiten aufgeteilt, also nicht eine Installation für alle Seiten. Hat nix gebracht. Bei rund 3000-5000 Besuchern am Tag für eine Seite (Blog) ging nix mehr. Einfach abgeschmiert, gehostet bei hetzner.

Beitrag von **Synonym** » 18.03.2011, 15:37

Was heißt hier abgeschmiert?

PHP-Speicher-Limit?
-> die in der Doku angegebenen 256 MB reichen nicht, ich für meinen Fall hab das Limit bei 1 GB. Vor allem die Archivierung der Monate und Jahre sind sehr speicherfressend.

DB. MySQL oder MySQLi?
Bin mir nicht sicher, aber MySQLi scheint schneller zu sein, das habe ich nun seit 4 Monaten

DB. Puffer?
Die DB braucht massiv Puffer, damit die ganzen Queries überhaupt sinnvoll laufen. Bei mir hat die DB 2 GB zugewiesen.

DB welches Model?
MyISAM oder INNODB?
MyISAM braucht weniger Speicher, ist aber auch etwas langsamer.

Server. Noch andere Dienste aktiv?
Bei mir ist der Server nur für Piwik.

Archivierung?
Per Browser oder per Cron?

Beitrag von **pimpi** » 18.03.2011, 15:50

Mit abgeschmiert meine ich bei mir: zuerst hat er das Dashboard extrem langsam geladen (über Minuten), kurze Zeit später gar nix mehr. Memory Limit war glaube die Meldung. Also für shared hostings wohl eher untauglich. Die Statistik ist schon cool, aber wenn ich alleine dafür nen Server mit Power mieten muß...dann doch lieber analytics.