Bad Bots bleiben nicht draussen

Beitrag von **Dynamix** » 19.01.2013, 23:33

Hi,
nachdem mir hier neulich schon mal prima geholfen wurde, hier nochmal ein anderes Kapitel zum Thema .htaccess, welches mich gerade wieder einmal beschäftigt.

Frage mich, ob das "knackiger geht", bzw. warum das in einzelnen Fällen nicht zu klappen scheint.

Und zwar geht es um diese vielen blöden Bots, die ich am liebsten mit der Keule aussperren würde. An bots würde ich gerne weitestgehend nur die Suchmaschinen wie Google, MSN, Yahoo, usw. durch lassen. Der ganze andere Kram kann ruhig sonst wo bleiben.
Ich habe mir von der Seite hier https://www.barrierefreie-webloesungen.de/ ein paar Tips zusammengesucht. Vor allem seine "unerwünscht"-Listen fand ich spannend und habe diese komplett so übernommen. Nun habe ich die mit meiner "bad-bots-Liste" die ich mir aus verschiedenen Ecken zusammen geklaubt habe kombiniert.
Das Ganze sieht dann sinngemäß und auszugsweise etwa so aus:

Code: Alles auswählen

#...hiervor noch jede Menge anderer IPs
SetEnvIfNoCase remote_addr "^5.135.182.147" bad_bot=1 #ks3289006.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.182.148" bad_bot=1 #ks3289007.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.182.150" bad_bot=1 #ks3289009.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.185.89" bad_bot=1 #ks3290602.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.186.47" bad_bot=1 #ks3291883.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.186.48" bad_bot=1 #ks3291884.kimsufi.com
SetEnvIfNoCase remote_addr "^5.39.83.196" bad_bot=1 #ks3271726.kimsufi.com
SetEnvIfNoCase remote_addr "^5.39.86.162" bad_bot=1 #ks3273571.kimsufi.com
SetEnvIfNoCase remote_addr "^5.39.86.195" bad_bot=1 #ks3273604.kimsufi.com
SetEnvIfNoCase remote_addr "^91.121.156.62" bad_bot=1 #ks359219.kimsufi.com
SetEnvIfNoCase remote_addr "^91.121.198.168" bad_bot=1 #ks3094429.kimsufi.com
SetEnvIfNoCase remote_addr "^91.121.204.98" bad_bot=1 #ks3094042.kimsufi.com
SetEnvIfNoCase remote_addr "^91.121.9.21" bad_bot=1 # ks22943.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.14.147" bad_bot=1 #ks3274388.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.236.118" bad_bot=1 #ks3099169.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.250.149" bad_bot=1 #ks383693.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.4.106" bad_bot=1 # ks365392.kimsufi.com und ks365392.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.62.47" bad_bot=1 # ks3262786.kimsufi.com
#...hiernach noch jede Menge anderer IPs
#...hiervor noch jede Menge anderer bad_bots
SetEnvIfNoCase user-agent "Keyword.Density" bad_bot=1
SetEnvIfNoCase user-agent "kimsufi" bad_bot=1
SetEnvIfNoCase user-agent "larbin" bad_bot=1
SetEnvIfNoCase user-agent "LeechFTP" bad_bot=1
#...hiernach noch jede Menge anderer bad_bots
order allow,deny
allow from all
deny from env=bad_bot
SetEnvIfNoCase user-agent .*google.* search_robot=1
SetEnvIfNoCase user-agent .*yahoo.* search_robot=1
SetEnvIfNoCase user-agent .*bot.* search_robot=1
SetEnvIfNoCase user-agent .*ask.* search_robot=1
Order Deny,Allow
Deny from All
Allow from env=search_robot
Order allow,deny
allow from all
#...hiervor noch alle anderen IPs aus den unerwünscht-Listen
Deny from 176.9.140.0/27    # HETZNER-RZ16  176.9.140.0 - 176.9.140.31
Deny from 176.9.245.128/26  # HETZNER-RZ-FKS, Dmytro Postryhan, US      176.9.245.128 - 176.9.245.191
Deny from 176.9.79.192/27   # HETZNER-RZ15  176.9.79.192 - 176.9.79.223
#...hiernach noch alle anderen IPs aus den unerwünscht-Listen
# Unbefugten Zugriff auf die .htaccess verhindern
order allow,deny
deny from all

Soweit so gut, wurde es nach Anlage dieser Liste deutlich ruhiger, aber insbesondere dieser kimsufi Host läßt sich aber davon scheinbar nicht beirren und es werden permanent z.B. Login-Versuche bei Wordpress registriert.

Wie kriege ich den verlässlicher raus, bzw. gibt es in obigen Anweisungen grundlegende Fehler?

von **Anzeige von ABAKUS** »

Beitrag von **bbnetch** » 20.01.2013, 03:42

warum kuerzt du nicht die ip's. bezw, sperst den ganzen ip range aus?
anstelle von
5.135.182.147
gleich so:
5.135.182 dann sind die ips am ende von 0-255 gleich ausgespert.
wenn er dann immernoch nerft sogar gleich so.
5.135

ich checke immer erst die ip's
deine hier zb kommt aus frankreich, da muss man evt vorsichtig sein weil auch deutsche user aus frankreich zugreifen koennten.

musst du selber wissen wieviel du da speren willst, ob du auf die 3 user verzichten kannst, oder ob es eben laut deinen stats 100te sind.

bei aufrufen aus china kann man da wohl etwas radikaler vorgehen, als bei aufrufen aus europa.

franzosen wuerd ich jetzt auch eher radikal aussperen, als holaender....

liegt in deinem ermessen

und irgendwie ist deine htacces voellig gross, das geht doch viel einfacher

bsp.
order allow,deny
deny from 192.168.2.100
deny from 192.168.2.101
deny from 192.168.2.102
allow from all

bedenke das die htaccess bei jedem seitenaufruf zuerst mal ausgelesen und verarbeitet wird, bevor der server dann irgendwas von der eigentlichen seite ausspuckt!
bots nach user agent wuerd ich erstmal per robots speren, das lesen dann nur die bots, sofern sies beachten, ansonsten dann auch gleich auf die ip los, da sie user agent eh wechseln koennen wenn sie dir den content graben wollen, oder anderen unsin im schilde fuehren.

Beitrag von **Dynamix** » 20.01.2013, 13:26

bbnetch hat geschrieben:warum kuerzt du nicht die ip's. bezw, sperst den ganzen ip range aus?
anstelle von
5.135.182.147
gleich so:
5.135.182 dann sind die ips am ende von 0-255 gleich ausgespert.
wenn er dann immernoch nerft sogar gleich so.
5.135

Da hätte ich zu viel Angst, daß ich dann doch Surfer oder "gute" Bots aussperre...

bbnetch hat geschrieben: und irgendwie ist deine htacces voellig gross, das geht doch viel einfacher

bsp.
order allow,deny
deny from 192.168.2.100
deny from 192.168.2.101
deny from 192.168.2.102
allow from all

bedenke das die htaccess bei jedem seitenaufruf zuerst mal ausgelesen und verarbeitet wird, bevor der server dann irgendwas von der eigentlichen seite ausspuckt!
bots nach user agent wuerd ich erstmal per robots speren, das lesen dann nur die bots, sofern sies beachten, ansonsten dann auch gleich auf die ip los, da sie user agent eh wechseln koennen wenn sie dir den content graben wollen, oder anderen unsin im schilde fuehren.

Ja, theoretisch geht das auch, aber so fange ich ja die Host Header nicht ab (es kommen ja auch genug mit eben diesen Host Headern auf die Seite und zumindest die wären dann ja schn mal draussen).

Kenn jemand diese Sache mit kimsufi.com ?
Habe das quer über einige Blogs derzeit. An manchen Tagen hunderte von Versuchen pro Blog! An anderen nix. Erstaunlich, daß diese Blogs teilweise bei verschiedenen Providern liegen und untereinander keinerlei gemeinsame Nenner aufweisen...

von **Anzeige von ABAKUS** »

Beitrag von **bbnetch** » 20.01.2013, 15:00

na dein kimsufi ist ein franzose, was kannst da schon gute user aussperen?
und wenn ein deutscher zufaellig gerade in dieser region ist, bzw. einer der gesperten ips benutzt, dann kannst das sicher verkraften.

schau doch mal selber nach!

5.135.182.1 bis 5.135.182.255 gehoeren alle dem selben besitzer, also alle diesem kimsufi bot.
admin-c: OK217-RIPE
das selbe spiel bei 91.121.156.1 bis 91.121.156.255

und auch alle anderen ip's die du oben gepostet hast.

was spricht dagegen gleich den ganzen ip range zu speren ?

Beitrag von **Seo.gy** » 20.01.2013, 15:23

Hallo,

Instaliere den "Page Restrictor" https://www.bot-trap.de/forum/
einmal täglich per Cron updaten - und du hast deine Ruhe (zu 99%) ...

Beitrag von **bbnetch** » 20.01.2013, 17:53

naja, mit dem vertreibst du dann aber einiges mehr an usern als mit ip speren.

50% der deutschen ist ja nicht in der lage diese komischen minusrechnungen zu loesen.

und mir ist es meist zu bloede, ich schliesse das fenster und gehe einfach zum naechsten suchergebniss was mir google ausgespuckt hat.

Beitrag von **Dynamix** » 20.01.2013, 21:59

Ja, der User sollte mit meinen Bot-Problemen nicht belästigt werden.Also, verlege ich mich dann wohl am besten wirklich auf IP-Ranges. Hat jemand gute Quellen, wo das gängiste an Botmüll aufgelistet ist?

Beitrag von **bbnetch** » 21.01.2013, 04:01

warum der kampf gegen windmuehlen?
boesartige bots aendern eh dauernd ihre kennung, und der rest verursacht doch kein wirklichen schaden.
und schlussendlich belastet eine meterlange htaccess den server einiges mehr als die par bots.

Beitrag von **Dynamix** » 21.01.2013, 11:19

Nun, das sehe ich als nicht ganz so harmlos an. Kimsufi z.B. wird durch meine Sicherheitssoftware regelmäßig wegen zu vieler fehlgeschlagener Loginversuche abgewiesen. Irgendwann, wenn ein User mal ein zu nachlässiges Passwort vergibt, wird er aber Erfolg haben... und dann?
Also blocke ich solch üble Zeitgenossen lieber sofort.

Habe irgendwo im Web einen Artikel gelesen, daß die htcaccess auch wenn sehr viele blockierungen drin wären, sich nicht messbar auswirken würde...