ich logge Useragents und IPs zum auswerten

Beitrag von **Nordin** » 27.05.2007, 13:10

Hallo Leute,

habe vor ein paar Tagen angefangen von drei verschiedenen Seiten alles Useragents zu loggen. Grund dafür war eigentlich ein SPAM-Filter für meine CTracker Xtra.

Ich versuche auf diese Weise böse und gute Bots zu finden und diese dann dem Filter zu geben. Nur hab ich bis jetzt glaub keine wirklichen Bots gefunden. Ich habe sämtliche IPs die in verschiedenen Foren gespammt haben (porno- und viagra- spam) rot markiert und bots von suchmaschienen grün.

Ihr könnt euch die liste gern mal anschauen... sie wächst stündlich.
https://www.wupmedia.de/ctracker/useragents.php

Die Agents die dort gelb sind konnte ich bis jetzt nicht zuordnern.
Wie zum beispiel der "Gigabot/1" mit der IP 38.114.104.122 soweit ich weiß hat aber der Gigabot nicht so eine IP oder??

von **Anzeige von ABAKUS** »

Beitrag von **Ice Man** » 27.05.2007, 15:04

Das bringt nicht viel.
Da es meist keine Bots sind, sondern Menschen die das in Foren hinterlassen.
Ich hab auch die "verbesserte" Visual Prüfung von CTracker drin, und trotzdem Spam.

IPs bringen einem da nicht viel weiter.
Spam ist immer gleich aufgebaut, da muss man ansetzen.

Beitrag von **Nordin** » 27.05.2007, 15:16

Ice Man hat geschrieben:IPs bringen einem da nicht viel weiter.
Spam ist immer gleich aufgebaut, da muss man ansetzen.

Hmm naja da hast du ja sicher recht aber ich hab bis jetzt noch keine gute Lösung gefunden wie ich spam abwehren kann.

Ich hab beobachtet das die Bots (oder humans

) immer direkt die seite im forum aufrufen wo eine Antwort oder ein Beitrag geschrieben werden kann.

Das einzige währ den submit post ($_POST) durch eine funktion abzufangen und dann mit eine art heuristik versuchen SPAM zu erkennen.

Was aber wiederum für mein "CTracker Xtra" Script schwierig ist weil ich will das es so einfach wie möglich handzuhaben ist. Es gibt Forensoftware da sucht man sich dumm und dämlich bis man die entsprechende Stelle im Code gefunden hat wo ein post abgesendet wird. Aber ein Ansatz wär es denke ich..

Ich logge trotzdem schön fleißig jede IP die gespammt hat in einer Liste die ich dann online jedem zur verfügung stelle die meinem ctracker nutzen. Ich konnte dadurch schon den einen oder anderen aussperren.

von **Anzeige von ABAKUS** »

Beitrag von **Ice Man** » 27.05.2007, 15:53

Das Problem ist folgendes.
Jemand kommt über die T-Online IP in dein Forum und spammt über Viagra.
Du sperrst nun diese IP. Alle anderen sagen wir 99.9 % der User die ebenfalls über die IP kommen, sind nun auch gesperrt.

OK, man könnte das jetzt nur bei Ausländischen IPs machen.
Aber irgendwann hast du dann ne Liste von 1000 IPs, und der Spam wird dadurch nicht weniger.

Ich schaue mir die Spammer in den Logfiles an.
Referer haben die Nie.
So gehen die Vor.
Index > Unterforum > Neuer Beitrag > abschicken.

Das ist kein Bot das ist ein Mensch.
Ein Bot würde gleich auf neuer Beitrag gehen.
Und dieser würde an der Visuellen Prüfung nicht vorbei kommen.

Beitrag von **Nordin** » 27.05.2007, 16:20

schau mal hier: https://www.wupmedia.de/ctracker/useragents.php
dort sind viele die ohne umweg auf https://www.soziales-forum.de/portal/po ... topic&f=97 gekommen sind... und von dort schön säuberlich porno gespammt haben.

Ich weiß das man mit captcha das ganze ruckzuck im griff hat aber es gibt viele foren und gästebücher die haben noch keine visuelle bestätigung mit drin. für diese will ich genau solch einen spam schutz bauen... hab da schon angefangen mal gucken ob was sinnvolles bei raus kommt.

Also allein mit IP und Useragents kann man da nix machen da hast du vollkommen recht. is echt nich einfach da was sinnvolles gegen zu stricken.

Beitrag von **eisblock** » 27.05.2007, 16:43

hoi Nordin
ich hab eine keine Sammlung von etwas über 9000 Useragenten
(https://eisblock.homeip.net/useragents.php) vll hilfts

IPs von Spammern blocke ich für 14 tage! da ich zusätzlich noch eine "whitelist" benutze, ist auch noch kein "normaler" besucher gebannt worden

bye

Beitrag von **Nordin** » 27.05.2007, 16:50

@eisblock

das mit den 14 Tagen ist gut.... ich schau mir deine Liste mal an.. danke!

Beitrag von **[btk]tobi** » 27.05.2007, 18:41

IPs sperren halte ich auch nicht für gut, einiges an Spam kommt über Trojaner auf normalen Rechnern, also sperrt man so nur echte Besucher und der Spambot hat nach 24h eh ne neue IP. Captcha umgehen die meisten Bots mittlerweile auch, also bringt das auch nicht viel.

Mir sind aber ein paar sachen zu den Bots aufgefallen:
* Bots rufen die Seite zum absenden des Formulars direkt auf.
* Bots kommen noch nachdem man die URL zum Formular geändert hat auf die alte URL.
* Bots füllen nur selten Formulare mit Passwortfeldern aus.
* Bots warten nicht bis die Bestätigungsseite angezeigt wird.
* Bots können Fragen nicht sinnvoll beantworten.

Irgendwo da sollte man ansetzen, ich änder z.B.immer mal wieder die Namen der Formularfelder, das funktioniert bis jetzt sehr gut.

Beitrag von **Ice Man** » 27.05.2007, 19:07

dort sind viele die ohne umweg auf https://www.soziales-forum.de/portal/po ... topic&f=97

Es soll Spammerlisten geben, wo man PR wirksam spammen kann.
Stehst du einmal in so einer Liste, dann besuchen dich die Spammen manuell oder automatisch. Und natürlich geht der spammer direkt zur Unterseite, warum soll er erst dein Menü durchklicken.

Der klickt auf seine Linkliste, per "Copy & Past" haut er seinen Dreck rein, und klickt auf Absenden.
Und dann kommt die nächste Seite.
Das IP gesperre bringt da nix, weil seine IP sich ständig ändert, die meisten Spammer sind ja nicht dumm.

Das beste ist, Beiträge die von Gäste mit Links gepostet wurden, sofort automatisch unsichtbar machen, sodass der Admin dieser erst freischalten muss.
Spammer posten ja immer einen Link...

@ eisblock

Das Blocken von Leuten ohne Useragent halte ich auch nicht für Sinnvoll.
Jede gute Firewall macht das heute. Da gehen dir viele Besucher flöten.

Beitrag von **[btk]tobi** » 27.05.2007, 21:34

Der klickt auf seine Linkliste, per "Copy & Past" haut er seinen Dreck rein, und klickt auf Absenden.
Und dann kommt die nächste Seite.

Nein, er sendet einen HTTP Request der so aussieht als ob der das Formular ausgefüllt hätte.

Beitrag von **Ice Man** » 27.05.2007, 23:12

Kannst du das mal genau erklären ?
Bin gerade dabei mein Forum sicher zumachen, von den Viagra Heinis.
Soll heißen, der tippt das nicht mal ein, der ruft das forum sagen wir so auf ?

domain.de/phpbb/posting.php?mode=newtopic&confirm=yes&text=hier kommt mein böser spam&time=23:45.......

Meinst du das so ?

Und jedesmal vorne wird nur die Domain gewechselt ?

Beitrag von **[btk]tobi** » 28.05.2007, 06:59

Ja so ähnlich, ich hab hier mal gebloggt wie das funktioniert.

Beitrag von **lumi** » 28.05.2007, 07:42

warum keine frage stellen, die der mensch beantworten kann, der bot aber nicht. eine solche abfrage kann mit hunderten fragen in einer DB erfasst sein und jedes mal, wenn ein post abgeschickt wird, wird vorher die frasge gestellt. nur bei der richtigen antwort kommt dann der post in die datenbank. klar nervt das viele benutzer, aber es wirkt, es ist ziemlich sicher und an der richtigen stelle sicher auch gut und einfach einzubauen.
lumi

Beitrag von **Nordin** » 28.05.2007, 21:19

So also ich hab in mein "CTracker Xtra" jetzt auch ein SPAM-Protector eingebaut.

Ich hab eine BETA rausgegeben um gleich mal fehler finden zu lassen... Aber momentan funzt er bereits SUPER für das SMF, PHPKit und PHPBB(old) und für eigene Scripte oder diverse ander Scripte wie Gästebücher...

zur v1.4Beta.1

Der SPAM-Protector abrbeitet eigentlich ganz simpel es wird der entsprechende Text ($_POST) nach ein Vorkommen aus der Spamliste durchsucht und wenn er ein Vorkommen findet wird das script mit die() abgebrochen und der spammer wird (zum auswerten oder für die statistik) geloggt.

Wenn ich fertig bin mit dieser Version dann stellen sich noch weitere Fragen.

Der Spammer schreibt seine Spamtexte in verschiedenen varianten... allein das Wort Viaga hat dutzende Möglichkeiten:
Viagra, Vlagra, V!agra, Vi@gra, Vi@gr@, Vlagr@ ....

Das heißt der SPAM-Filter müss dann "intiligent" werdern... ich denke das ist möglich, eine idee hätte ich schon... ist aber nicht einfach.

Falls jemand dafür auch naoch eine idee, hat bitte immer her damit *g*

Beitrag von **Ice Man** » 28.05.2007, 23:42

Genau das macht mein Script was ich vor 2-3 Monaten hier schon mal gepostet hatte

Blos bei mir konnte man jedem Wort auch noch eine Wertigkeit zuordnen, was das ganze etwas besser machte. Du hast nicht weit genug gedacht mit deinen vielen Viagra Varianten.

Stell dir einen Spam Beitrag mit 200 Wörtern und eine Spammwort DB mit ebenfalls 200 Wörtern vor. Das müste doch schon eine enorme Belastung sein, wenn du das alles in einer schleife prüfst oder ?