Webalizer Nachanalyse-Tool

Beitrag von chio » 18.10.2004, 15:44

Beitrag von carnalito » 19.10.2004, 13:31

Beitrag von robo » 19.10.2004, 15:36

Hey chio,

cooles Tool!

Allerdings ist es etwas mühsam, die Daten zusammenzukopieren. Deshalb habe ich dafür ein kleines Perl-Script gebaut:

Code: Alles auswählen

#!/usr/bin/perl

# Webalizer Daily Statistics Grepper
# Copyright (C) 2004 Robert Boeck
#
# This program is free software; you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation, version 2 of the License.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
# GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License
# along with this program; if not, write to the Free Software
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA

$version = "v1.0";
$program = "Webalizer Daily Statistics Grepper $version";
$copyright = "Copyright (C) 2004 Robert Boeck";


$infile = '';
$alldays = 0;


&print_copyright;

&getparams;

@infiles = glob ($infile);

foreach (@infiles) {
  print STDERR $_."\n";
  print &get_daily ($_);
  print "\n";
}

print STDERR $alldays." Days\n";


sub get_daily {
  my $infile = shift;
  open (IN, $infile) or die "Error: $!\n";
  @lines = <IN>;
  close &#40;IN&#41;;

  chomp &#40;@lines&#41;;

  $lines = join &#40;' ', @lines&#41;;

  $lines =~ /&#40;Daily Statistics for .*?&#41;<\/TABLE>/;

  $daily = $1;

  $daily =~ s/\t/ /g;
  $daily =~ s/<\/TR>/\n/g;
  $daily =~ s/<\/TD>/\t/g;
  $daily =~ s/<&#91;^>&#93;+>/ /g;
  $daily =~ s/  +/ /g;
  $daily =~ s/\n\s+/\n/g;
  $daily =~ s/\s+\n/\n/g;

  $days = &#40;$daily =~ tr/%/%/&#41; / 6;
  $alldays += $days;
  
  return $daily;
&#125;

sub getparams &#123;
  if &#40;$#ARGV < 0&#41; &#123;
    die "usage&#58; stat_grep.pl <statfile.html>\n\n";
  &#125;
  foreach my $arg &#40;@ARGV&#41; &#123;
    if &#40;! $infile&#41; &#123; $infile = $arg; &#125;
    else &#123; die "unknown parameter&#58; $arg\n"; &#125;
  &#125;
&#125;

sub print_copyright &#123;
  print STDERR "\n$program, $copyright\n";
  print STDERR "This program is free software and comes with ABSOLUTELY NO WARRANTY;\n";
  print STDERR "see the source code for details.\n\n";
&#125;

Aufruf mit:

perl stat_grep.pl usage*.html >out.txt

<edit>
Für Linux:
perl stat_grep.pl "usage*.html" >out.txt
</edit>

cu, Robo

Beitrag von chio » 19.10.2004, 16:49

Hallo!
Danke mal für die erfreulichen Reaktionen

@robo: alles was Rechte auf dem Server braucht, ist mir ein Rätsel.... aber sicher können andere was damit anfangen.

Ich hab jetzt noch ein paar Google-Termine reingepackt, vielleicht finde ich irgendwo noch eine Liste der Ferien (Beginn/Ende) usw., alles eben, was die Schwankungen erklären kann. (Mondphasen?

Ich finde es generell nicht blöd, sich so eine einfache Textliste lokal zuzulegen, das ist sowieso das erste was man beim Serverwechsel vergisst... und außerdem kann man Kommentare gleich reinschreiben, die werden dann auch angezeigt.

Wie gesagt: Falls irgendwas nicht funzt - irgendein Array geht immer über - bitte Mail, ich schau mir das an.

grüße
chio

Beitrag von robo » 19.10.2004, 17:14

chio hat geschrieben:@robo: alles was Rechte auf dem Server braucht, ist mir ein Rätsel.... aber sicher können andere was damit anfangen.

Hmmm ... das Script ist auch nicht für den Server gedacht, sondern eher für die User, die damit ganz einfach aus ihren lokalen oder heruntergeladenen Webalizer-Statistiken die benötigte Textliste erstellen können.

cu, Robo

Beitrag von Andreas Schroth » 19.10.2004, 17:36

also ich finde es sehr nützlich...

Dieses tolle Tool hat sofort seinen Platz in meinen Favoriten gefunden...

Sehr schön, werde ich jetzt immer benutzen...besser gefallen würde mir allerdings, wenn das ganze in der Breite vielleicht variabler wäre, also sprich, dass sich die Analyse in einem neuen Fenster öffnet und dann die volle Bildschirmbreite ausnutzt (ich habe eine Auflösung von 1600x1200 und da ist sehr viel Platz verschenkt)...

Beitrag von -robert- » 20.10.2004, 14:10

unknown parameter: usage_200211.html

perl /root/makestats.pl usage*.html

Beitrag von chio » 20.10.2004, 14:20

Hallo!
Ich habe grade eine neue Version aufgespielt - mit einem kleinen Spider im Rucksack. Außerdem hält es jetzt 0 und >32000 Visitors für glaubwürdig...
Daten (URL) werden keine an den Server übertragen. Es bleibt alles lokal.

Wie gesagt: Das Teil ist ein Experiment, hat wohl noch ein paar Bugs. Und natürlich die üblichen Shockwave-Geschichten..

Wie ich das Problem mit den Lücken löse (wenn zu Beginn eines Monats 0 Visits sind) weiß ich noch nicht. Das Teil geht davon aus, dass alle Tage da sind.

lg
chio

Beitrag von Andreas Schroth » 20.10.2004, 17:41

schöne Erweiterungen...

Übrigens: Am 6.12.03 und 24.12.03 gab es auch PR-Updates... (konnte ich mir wegen den komisch gewählten Tagen auch sehr gut merken )

Entwickle das Tool doch bitte weiter, ich finde es sehr nützlich und kann es gut gebrauchen...

Beitrag von robo » 20.10.2004, 19:27

-robert- hat geschrieben:bekomme leider bei der Nutzung deines Scripts einen::

Code: Alles auswählen

unknown parameter: usage_200211.html

Sehe den Fehler aber nicht. Ich rufe es über

Code: Alles auswählen

perl /root/makestats.pl usage*.html

Woran könnte es liegen?

Habe jetzt auch erst eine Weile nachdenken müssen. Aber ich habe das Problem erkannt. Du nutzt das Script unter Linux, und dort löst die bash bereits das usage*.html auf. Umgehen kannst du das, indem du den Parameter in Anführungszeichen setzt:

Code: Alles auswählen

perl /root/makestats.pl "usage*.html"

Unter Linux kannst du übrigens auch für makestats.pl die Execute-Rechte setzen und den perl-Aufruf weglassen.

cu, Robo

Beitrag von -robert- » 20.10.2004, 21:37

Hey robo,

vielen Dank. Darauf wäre ich nie gekommen Bist eben ein Fuchs

Danke auch an chio, Das Tool ist wirklich genial und sehr aufschlussreich.

Gruß
Robert

Beitrag von chio » 21.10.2004, 18:13

Hallo!

Die - vorerst mal finale - Version des Webalizer - Analyzers:
https://www.site-check.cc/statanalyzer/tool.html

Ein paar Divisionen/0 und Rundungsfehler weg, mehr Breite, mehr Optik, mehr Chio.
+: mehr Mondphasen

@robo: Sorry, dass ich "den Fuchs in dir" nicht erkannt habe Perl ist so gar nicht meins. Könnten sich da Synergien ergeben?

lg
chio

Beitrag von robo » 21.10.2004, 19:19

chio:

chio hat geschrieben:@robo: Sorry, dass ich "den Fuchs in dir" nicht erkannt habe Perl ist so gar nicht meins.

Ich verzeih' dir noch einmal. Naja, es kann nicht jeder alles können. Wäre ja schlimm!

chio hat geschrieben:Könnten sich da Synergien ergeben?

klar, warum nicht?

cu, Robo