ABAKUS

Hallo,

ich habe bei einigen seiten von uns etwas erschreckendes gesehen. Es ist zur zeit wieder ein bot da der über dynamische ip spidert. ok das ist nicht neues neu ist aber daß die mehere zum spidern nutzt. das heiß subdomain.domainname.de wird von 3-4 ips gleichzeitig gespidert. er nimmt sich immer eine ebene vor. was aber noch böser ist die ips sind europaweit, d.h von frankreich bis russland. in meinen augen kann das nur heißen es gibt infizierte pcs die spidern, und wie soll ich die unterbinden.

kann man das verhindern denn ich will ja die echten bots nicht stören.

gruß

linux

Prüfmal die verwendeten IPs ob die nicht zum Tor Netzwerk gehören.
https://nighteffect.us/tns/index.php?SR=Hostname&SO=Asc

Diese Privacy-Typen könnten unter dem Deckmantel des Datenschutzes auch gleich Personalausweise fälschen und WLANs hacken. Ist IMHO die gleiche Schiene.

SloMo hat geschrieben:Diese Privacy-Typen könnten unter dem Deckmantel des Datenschutzes auch gleich Personalausweise fälschen und WLANs hacken. Ist IMHO die gleiche Schiene.

So ein Unsinn. Nicht alle, die ihre Briefe zukleben, weil sie nicht wollen, dass sie jeder lesen kann, verschicken Kinderpornographie per Post.

Gruß Johannes

Nicht alle, die ihre Briefe zukleben, weil sie nicht wollen, dass sie jeder lesen kann, verschicken Kinderpornographie per Post.

Auch auf zugeklebte Briefe gehört ein Absender! Ich habe auch noch von keinem Kinderpornoring gehört, der seine Bildchen per Postkarte verschickt.

Sicherheitsdebatten sind immer schwierig. Aber ich sehe halt den Webmaster momentan sehr im Nachteil. Wer eine Webseite hat, lässt heutzutage die Hosen völlig runter. Da landet schnell mal die private Anschrift und Telefonnummer in irgend welchen dubiosen Datenbanken.

Und dann kommen die Privacy-Futzies (z. B. Tor-Netzwerk) und machen einen auf Geheimhaltung, während sie sich unseren Content ziehen. Da herrscht ein ganz schönes Ungleichgewicht.

hab mal mitgeloggt also es sind wilde ips

offnee access points glaube ich nicht da die ips europaweit sind bleit ein virus, egal was es ist der bot klaut alle seiten

ich hatte mal gelesen daß man mit dem apacheneswas machen kann. man überprüft die requests die ein browser macht(auch der googlebot ist in dem sinne ja ein browser) kommen mehr als x pro sek für seiten dann bringt er einen error.

dabei gibt es 2 probleme

1. die bots ok das könnte man noch umgehen (perl/php script das einen whois macht und dann sagt ob es eine echte ip ist)

2. ein proxy server (eine lösung wäre hier auch ein whois oder besser einfach zu sagen ein brwoser der keine kennung schickt darf nur 1 request alle 5 sec machen)

ich werde mal sehen ob man dem apachen was beibringen kann



gruß

linux

habe etwas gefunden, hm kennst sich einer noch bischenbesser mit perl aus

https://spambot.sourceforge.net/

ich will nun noch die weiche einbinden daß ich in einer datenbank die whitelist vorhalte, d.h einen whois auf die ip wenn google inc oder ein anderer echter, dann soll der in die whitelist rein

so sollte man schnell die guten bots drinnen haben auch wenn der googlebot neue ips hat

das würde heißen die guten bots bleiben drinnen und die anderen bleiben weg

man kann einstellen nach 5 request in 10 sec dannn trap denn so schnell ist kein user.

wer mir helfen will gerne per pn

oder andere vorschläge

gruß

linux

Ansonsten schau doch einfach mal dort vorbei: https://www.bot-trap.de/

Ciao,
Mike

das projekt kenne ich ist auch gut leider hat es ein problem es arbeitet mit einer blacklist, d.h mit ips und so. bei dynamischen ips wird das nichts helfen

ich denke aber ich werden mich mal mit dem herrn in kontakt sezten, mal sehen wie wir da zusammenarbeiten können.

mals ehen wie gut noch mein c++ ist grins

ich brauche nur noch eines die db connection für die whitelist.


ich hatte auch eine andere idee das ganze per php. es gibt ein modul daß die logs in ne mysql packt, ein script rechnet für jede ip die zeitabstände aus, wenn diese zu klein sind dann wird eine php whois gemacht und die ip in die blacklist eingetragen. das einzige problem bei den listen ist daß man diese löschen muß, ja löschen denn diese können ja auch ips mal haben die ein isp einem realen user gibt.

wie gesagt ich werde mich damit befassen und auf nen testserver mal schauen was ich tuen kann.


gruß

linux

linux hat geschrieben:2. ein proxy server (eine lösung wäre hier auch ein whois oder besser einfach zu sagen ein brwoser der keine kennung schickt darf nur 1 request alle 5 sec machen)

Was meinst Du mit Kennung? Clients, die keinen User-Agent schicken, kann man auch ganz blocken. Proxies leiten die HTTP-Anfragen erfahrungsgemäß meistens auch vollständig weiter, also samt UA und Referer. Damit meine ich natürlich nicht die Webproxies, die faken naturgemäß sicherlich auch im HTTP kräftig umher.

Wenn man das Zeitverhalten beobachtet, muss man auch an die Doppelklicker denken, und an die Gewohnheitsklicker: auf Webseiten, die man gut kennt, klickt man sich schon mal ziemlich schnell durch. Nur um zwei Sonderfälle genannt zu haben, denn es gibt noch ein paar mehr.