Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Tools für Logfile-Auswertung ?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
robo
PostRank 8
PostRank 8
Beiträge: 837
Registriert: 23.12.2003, 19:41
Wohnort: Schwangau

Beitrag von robo » 22.06.2005, 10:36

Luckybuy3000 hat geschrieben:Ja klar. Ich such die "Bösen Buben".PHP hat eben Schwachstellen und da findet man immer mal interessante Sachen in den logsfiles.
Was ist grep ? Perl kann ja nun mal nicht jeder,
aber ich werde jetzt mal ein paar Tools testen, ob die mir tatsächlich Arbeit abnehmen können.
grep ist "global regular expression print", ein sehr bekanntes und beliebtes Unix-Tool. Für Windows auf https://unxutils.sourceforge.net/ zu bekommen.

Wenn man die "bösen Buben" kennt und einen relativ eindeutigen String extrahieren kann, mit dem man selbige aus den Logfiles ausfiltern kann, leistet grep gute Dienste. Man muss sich dann nicht mehr so viel durchlesen. :-)

Ein paar Beispiele:

Googlebot finden:
grep -i googlebot\/ access.log >bots.googlebot.log

DTS Agent finden:
grep "DTS Agent" access.log >badbots.dts-agent.log

Bots finden, die im UA-String eine öffnende, aber keine schliessende Klammer haben:
grep -E "\([^\)]+$" access.log >badbots.broken-ua.log

Alle Abrufe von robots.txt finden:
grep -i robots\.txt access.log >robots.txt.log

cu, Robo :)