Suche: Realtime Onlinestatistik Spiderzugriffe / -traffic

Beitrag von **Southmedia** » 05.02.2004, 21:05

Hallo,

ich bin gerade auf der suche nach einem Script (optimalerweise php + mysql) ähnlich wie pphlogger, nur eben nicht für normale Sitezugriffe sondern speziell für die Spiderzugriffe.

Das ganze sollte realtime ablaufen, also nicht die Logfiles analysieren. Optimal wäre etwas ala: Heute x Hits von Googlebot, Gestern x Hits von... etc.

Ich habe bei Google nichts wirklich brauchbares gefunden, kennt jemand von euch eine Script oder sowas in die Richtung?

von **Anzeige von ABAKUS** »

Beitrag von **Ice Man** » 05.02.2004, 21:10

ich nehme das

GoogleStats

Für weitere Informationen gehen Sie zu: www.googlestats.com

Beitrag von **dirk** » 05.02.2004, 21:48

such ich auch noch ... ich parse bei mir (https://www.searchtracker.de/botwatch.pl) regelmaessig das log und pumpe die referrer in eine mysql die das botwatch.pl dann wieder ausgibt (limit 250). aber doll ist das nicht

Beitrag von **auer** » 05.02.2004, 23:05

Wenn man mag, kann man zwei Freeware-Tools von mir dazu verwenden: Das IP-Dns-Resolve ist eigentlich dafür da, IP-Nummern in DNS aufzulösen und umgekehrt, eine Quelle kann eine Logdatei sein, die zeilenweise verarbeitet wird. Ergänzt man den Aufruf um -r "googlebot", wird der Ausdruck als RegExpand interpretiert und nur die Zeilen verarbeitet, die diesen String enthalten. Um die Logdatei auf den Rechner zu bekommen, kann sie mit dem Download.exe (Url, lokale Datei, Username, Pwd) geholt werden, das ganze läßt sich als Batch aufrufen.

Beispielausgabe am Bildschirm (hier ohne Tabs):

64.68.82.28 crawler10.googlebot.com 2
64.68.82.38 crawler11.googlebot.com 1
64.68.82.143 crawler13.googlebot.com 2
64.68.82.167 crawler14.googlebot.com 1
64.68.82.168 crawler14.googlebot.com 1
64.68.82.170 crawler14.googlebot.com 3
64.68.82.201 crawler15.googlebot.com 2

12 Fundstellen

----------
Gruß, Jürgen Auer

Beitrag von **Southmedia** » 05.02.2004, 23:10

Danke Iceman, GoogleStats kenne ich schon, mir fehlen da ein bisschen die erweiterten Möglichkeiten. Für nen groben Überblick reicht es allerdings, stimmt.

Dirk und auer, eure Lösungen sind bei > 5 000 GoogleBothits am Tag leider nicht so das wahre, wichtig ist mir in dem Fall vor allem auch dass ich andere Bots verfolgen kann, und da wird das manuell sehr viel Arbeit.

Vielleicht kennt ja jemand doch noch was gescheites, ansonsten heist's selber bauen.

Beitrag von **dirk** » 06.02.2004, 08:34

Dirk und auer, eure Lösungen sind bei > 5 000 GoogleBothits am Tag leider nicht so das wahre, wichtig ist mir in dem Fall vor allem auch dass ich andere Bots verfolgen kann, und da wird das manuell sehr viel Arbeit.

Och ... also 5000 hits sind ja nen Witz für ne moderne Maschine, oder ?

Ich hab hier folgendes gebastelt :

Da ich neugierig bin, was so auf meinem Server abgeht, hab ich mir ein kleines PERL Script gebaut, welches mein Apache Log parsed. Dem Script kann ich Suchbegriffe (z.B. Datum und Domain) übergeben, die dann mit einer regex logzeilen ausgeben oder eben nicht.

Da ich das Ding eh ein paar mal am Tag aufrufe, hab ich es dann noch um die Robot-Auswert-DB-wegschreib-Routine

erweitert.

Dazu hab ich eine kleine Datenbanktabelle, in der alle Robots (Name, Betreiber, URL, etc) die mich interessieren drin sind, angelegt. Die wird bei Scriptstart geladen und dann bei parsen durch ein paar regex gejagt.

naja und dann halt noch ein if bot gefunden then ...

ciao
dirk

Beitrag von **Hexemer** » 07.02.2004, 14:20

Nach solch eine Script suche ich auch schon einige Zeit. GoogleStats ist zwar ein guter Ansatz aber ingesamt auch nicht das Wahre

Vieleicht macht sich ja irgendwann ein begabter Coder an die Arbeit

Beitrag von **firestarter** » 08.02.2004, 02:56

Versuch doch mal das hier:
https://www.darrinward.com/cgi-scripts/spydertrax.htm