Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Bad Bots bleiben nicht draussen

Ajax, Hijax, Microformats, RDF, Markup, HTML, PHP, CSS, MySQL, htaccess, robots.txt, CGI, Java, Javascript usw.
Neues Thema Antworten

 mode rewrite und Verzeichnisse mit unterschiedlicher Tiefe

OpenX - Dienstleister

 
Dynamix
PostRank 1
PostRank 1
Beiträge: 26
Registriert: 28.03.2011, 15:18

Beitrag von Dynamix » 19.01.2013, 23:33

Hi,
nachdem mir hier neulich schon mal prima geholfen wurde, hier nochmal ein anderes Kapitel zum Thema .htaccess, welches mich gerade wieder einmal beschäftigt.

Frage mich, ob das "knackiger geht", bzw. warum das in einzelnen Fällen nicht zu klappen scheint.

Und zwar geht es um diese vielen blöden Bots, die ich am liebsten mit der Keule aussperren würde. An bots würde ich gerne weitestgehend nur die Suchmaschinen wie Google, MSN, Yahoo, usw. durch lassen. Der ganze andere Kram kann ruhig sonst wo bleiben.
Ich habe mir von der Seite hier https://www.barrierefreie-webloesungen.de/ ein paar Tips zusammengesucht. Vor allem seine "unerwünscht"-Listen fand ich spannend und habe diese komplett so übernommen. Nun habe ich die mit meiner "bad-bots-Liste" die ich mir aus verschiedenen Ecken zusammen geklaubt habe kombiniert.
Das Ganze sieht dann sinngemäß und auszugsweise etwa so aus:

Code: Alles auswählen

#...hiervor noch jede Menge anderer IPs
SetEnvIfNoCase remote_addr "^5.135.182.147" bad_bot=1 #ks3289006.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.182.148" bad_bot=1 #ks3289007.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.182.150" bad_bot=1 #ks3289009.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.185.89" bad_bot=1 #ks3290602.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.186.47" bad_bot=1 #ks3291883.kimsufi.com
SetEnvIfNoCase remote_addr "^5.135.186.48" bad_bot=1 #ks3291884.kimsufi.com
SetEnvIfNoCase remote_addr "^5.39.83.196" bad_bot=1 #ks3271726.kimsufi.com
SetEnvIfNoCase remote_addr "^5.39.86.162" bad_bot=1 #ks3273571.kimsufi.com
SetEnvIfNoCase remote_addr "^5.39.86.195" bad_bot=1 #ks3273604.kimsufi.com
SetEnvIfNoCase remote_addr "^91.121.156.62" bad_bot=1 #ks359219.kimsufi.com
SetEnvIfNoCase remote_addr "^91.121.198.168" bad_bot=1 #ks3094429.kimsufi.com
SetEnvIfNoCase remote_addr "^91.121.204.98" bad_bot=1 #ks3094042.kimsufi.com
SetEnvIfNoCase remote_addr "^91.121.9.21" bad_bot=1 # ks22943.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.14.147" bad_bot=1 #ks3274388.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.236.118" bad_bot=1 #ks3099169.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.250.149" bad_bot=1 #ks383693.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.4.106" bad_bot=1 # ks365392.kimsufi.com und ks365392.kimsufi.com
SetEnvIfNoCase remote_addr "^94.23.62.47" bad_bot=1 # ks3262786.kimsufi.com
#...hiernach noch jede Menge anderer IPs
#...hiervor noch jede Menge anderer bad_bots
SetEnvIfNoCase user-agent "Keyword.Density" bad_bot=1
SetEnvIfNoCase user-agent "kimsufi" bad_bot=1
SetEnvIfNoCase user-agent "larbin" bad_bot=1
SetEnvIfNoCase user-agent "LeechFTP" bad_bot=1
#...hiernach noch jede Menge anderer bad_bots
order allow,deny
allow from all
deny from env=bad_bot
SetEnvIfNoCase user-agent .*google.* search_robot=1
SetEnvIfNoCase user-agent .*yahoo.* search_robot=1
SetEnvIfNoCase user-agent .*bot.* search_robot=1
SetEnvIfNoCase user-agent .*ask.* search_robot=1
Order Deny,Allow
Deny from All
Allow from env=search_robot
Order allow,deny
allow from all
#...hiervor noch alle anderen IPs aus den unerwünscht-Listen
Deny from 176.9.140.0/27    # HETZNER-RZ16  176.9.140.0 - 176.9.140.31
Deny from 176.9.245.128/26  # HETZNER-RZ-FKS, Dmytro Postryhan, US      176.9.245.128 - 176.9.245.191
Deny from 176.9.79.192/27   # HETZNER-RZ15  176.9.79.192 - 176.9.79.223
#...hiernach noch alle anderen IPs aus den unerwünscht-Listen
# Unbefugten Zugriff auf die .htaccess verhindern
order allow,deny
deny from all
Soweit so gut, wurde es nach Anlage dieser Liste deutlich ruhiger, aber insbesondere dieser kimsufi Host läßt sich aber davon scheinbar nicht beirren und es werden permanent z.B. Login-Versuche bei Wordpress registriert.

Wie kriege ich den verlässlicher raus, bzw. gibt es in obigen Anweisungen grundlegende Fehler?
Nach oben
Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0
Nach oben
bbnetch
PostRank 8
PostRank 8
Beiträge: 869
Registriert: 02.06.2005, 17:24
Wohnort: Philippinen

Beitrag von bbnetch » 20.01.2013, 03:42

warum kuerzt du nicht die ip's. bezw, sperst den ganzen ip range aus?
anstelle von
5.135.182.147
gleich so:
5.135.182 dann sind die ips am ende von 0-255 gleich ausgespert.
wenn er dann immernoch nerft sogar gleich so.
5.135

ich checke immer erst die ip's
deine hier zb kommt aus frankreich, da muss man evt vorsichtig sein weil auch deutsche user aus frankreich zugreifen koennten.

musst du selber wissen wieviel du da speren willst, ob du auf die 3 user verzichten kannst, oder ob es eben laut deinen stats 100te sind.

bei aufrufen aus china kann man da wohl etwas radikaler vorgehen, als bei aufrufen aus europa.

franzosen wuerd ich jetzt auch eher radikal aussperen, als holaender....

liegt in deinem ermessen

und irgendwie ist deine htacces voellig gross, das geht doch viel einfacher

bsp.
order allow,deny
deny from 192.168.2.100
deny from 192.168.2.101
deny from 192.168.2.102
allow from all

bedenke das die htaccess bei jedem seitenaufruf zuerst mal ausgelesen und verarbeitet wird, bevor der server dann irgendwas von der eigentlichen seite ausspuckt!
bots nach user agent wuerd ich erstmal per robots speren, das lesen dann nur die bots, sofern sies beachten, ansonsten dann auch gleich auf die ip los, da sie user agent eh wechseln koennen wenn sie dir den content graben wollen, oder anderen unsin im schilde fuehren.
Geld verdienen im Schlaf und so ...Webmasterforum

Suche Linktausch Thema: Reisen, Philippinen, Ferienwohnung/Apartment, Tauchen, Urlaub etz. PN bitte!
.
Nach oben
Dynamix
PostRank 1
PostRank 1
Beiträge: 26
Registriert: 28.03.2011, 15:18

Beitrag von Dynamix » 20.01.2013, 13:26

bbnetch hat geschrieben:warum kuerzt du nicht die ip's. bezw, sperst den ganzen ip range aus?
anstelle von
5.135.182.147
gleich so:
5.135.182 dann sind die ips am ende von 0-255 gleich ausgespert.
wenn er dann immernoch nerft sogar gleich so.
5.135
Da hätte ich zu viel Angst, daß ich dann doch Surfer oder "gute" Bots aussperre...
bbnetch hat geschrieben: und irgendwie ist deine htacces voellig gross, das geht doch viel einfacher

bsp.
order allow,deny
deny from 192.168.2.100
deny from 192.168.2.101
deny from 192.168.2.102
allow from all

bedenke das die htaccess bei jedem seitenaufruf zuerst mal ausgelesen und verarbeitet wird, bevor der server dann irgendwas von der eigentlichen seite ausspuckt!
bots nach user agent wuerd ich erstmal per robots speren, das lesen dann nur die bots, sofern sies beachten, ansonsten dann auch gleich auf die ip los, da sie user agent eh wechseln koennen wenn sie dir den content graben wollen, oder anderen unsin im schilde fuehren.
Ja, theoretisch geht das auch, aber so fange ich ja die Host Header nicht ab (es kommen ja auch genug mit eben diesen Host Headern auf die Seite und zumindest die wären dann ja schn mal draussen).

Kenn jemand diese Sache mit kimsufi.com ?
Habe das quer über einige Blogs derzeit. An manchen Tagen hunderte von Versuchen pro Blog! An anderen nix. Erstaunlich, daß diese Blogs teilweise bei verschiedenen Providern liegen und untereinander keinerlei gemeinsame Nenner aufweisen...
Nach oben
Anzeige von ABAKUS

von Anzeige von ABAKUS »

Nach oben