Botnet-Spider?

Beitrag von **profo** » 23.10.2009, 19:32

Ich hatte heute auf einem Blog einen merkwürdigen kleinen Ansturm von offensichtlich automatisierten Abfragen. Sie haben das Blog allesamt gespidert, bzw. sind allen möglichen Links nachgeschlichen und haben dabei brav den Referer übergeben. Die Requests für das deutschsprachige Blog kamen von IPs aus so beliebten Reisezielen wie Indien, Moldavien, USA, Japan, Venezuela usw.

Falls so etwas häufiger passiert ist mir das noch nie aufgefallen. Kennt ihr so etwas bzw. könnt damit etwas anfangen?

von **Anzeige von ABAKUS** »

Beitrag von **Stephan Zöllner** » 28.11.2009, 14:29

Klink Dich mal bei https://www.bot-trap.de ein.
Dort kennt man quasi jegliches dieser Ungeziefer sorten
UND verfügt über dynamisch gesteuerte Möglichkeiten die BadBots auszusperren - auch für Deine Seite!

Beitrag von **profo** » 28.11.2009, 14:39

Nein, das waren doch offensichtlich Zombies, also gekaperte, ferngesteuerte echte Windows-Systeme. Da hilft doch kein bot-trap nicht.

von **Anzeige von ABAKUS** »

Beitrag von **nerd** » 28.11.2009, 23:20

doch - mache einen fuer webbrowser unsichtbaren link (1-pixel gif, oder mit css versteckt) auf die seite der in ein anderes verzeichniss fuehrt, und sperre dieses verzeichniss per robots.txt. auf der versteckten seite schreibst du die ip client-ip in dein killfile, und du hast ruhe

Beitrag von **profo** » 29.11.2009, 02:23

@nerd, Dein Trick hätte vermutlich nicht funktioniert, weil es meiner Meinung nach ferngesteuerte echte Browser waren.

Ich hatte meinen Besuch nicht richtig beschrieben. Das war nicht irgendein Bot, der fieserweise eine Site abgeklappert ist, sondern eine kleine Armee von vielleicht 500 Bots der unterschiedlichsten Herkunft. Jeder von denen hat praktisch nur eine Seite und eine Folgeseite geladen, aber weil es so viele waren, hat das schon so Spider-Effekt.

Ohne weiteres sieht jede einzelne IP eigentlich wie ein ganz normaler Surfer aus. Überhaupt kann ich die vom Nutzerverhalten nur wegen ihrer merkwürdigen Herkunft und wegen des massiven Auftretens als Bot identifizieren; da ist nix mit aussperren. Das ganze ist mir eigentlich auch nur deswegen aufgefallen, weil praktisch jeder von diesen Bots innerhalb dieser kurzen Zeit auf einen Affiliate-Link "geklickt" hat und das in den Statistiken dann schon aufgefallen ist.

Meine Vermutung ist inzwischen, dass das ein Klick-Bot-Netz war, das mehr oder weniger versehentlich auf meine Site losgelassen wurde...

Beitrag von **Stephan Zöllner** » 29.11.2009, 03:10

@Profo
Klar bei so einen "Angriff" hilft auch Bot-Trap nicht weil er viel zu kurz ist und die UserAgents vermutlich auch keine brauchbaren Gemeinsamkeiten aufweisen.

Trotzdem könnte das bot-Trap-Projekt manche dieser IPs schon gesperrt haben.
Wenn Du willst kann ich das mal nachprüfen falls Du mir die entsprechenden Log-Auszüge per PM schickst - falls Du das Bot-Trap-Projekt nicht schon selbst kennst und dort anfragen kannst ob die IPS schonmal aufgefallen sind.

Im Projekt können die IPs aber durchaus gesperrt werden sofern sie nicht auf einer Whitelist stehen, denn wenn das tatsächlich Zombie sein sollten werden sie mit sicherheit wiederholt auffallen.

Außerdem lohnt sich dann u.U. eine Abuse-Meldung um die Besitzer davon zu unterrichten, daß sie Zombie haben.

Was mir gerade einfällt: es könnte auch etwas sein was aus dem Thor-Netzwerk kam. Die Tor-Exits sind i.d.R. im Bot-Trap auch gesperrt. Bot-Trap ist sicher kein Wundermittel, aber es kann oft sehr viel mehr als man ihm zutraut.

Beitrag von **profo** » 29.11.2009, 14:03

Danke für das Angebot. Ich muss allerdings gestehen, dass ich Bot-Trap persönlich nicht sehr mag, und ich daher nicht darauf zurückkommen werde. Aber wie gesagt, vielen Dank für die Info.