neue böse Bots

Beitrag von **Chris2005** » 15.07.2005, 13:41

Bist Du sicher, dass der http 200 bekommen hat und nicht http 403?

von **Anzeige von ABAKUS** »

Beitrag von **Ice Man** » 15.07.2005, 15:21

gute Frage, ich schau gleich mal in die Logs

Beitrag von **Ice Man** » 15.07.2005, 15:33

Also folgendes hat er verursacht:

200
302
404

Es waren über 200 Einträge, vom dem Teil in den Logs

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **costa_es** » 16.07.2005, 08:13

hab mal wieder neues Ungeziefer aus dem Ostblock -
ganz heißes teil hält sich nicht an robots.txt ( hat alleine die bot-trap 10mal versucht mitzuholen ) und saugt schön mehrmals die komplette Seite durch

unterwegs mit
xdsl-1242.zgora.dialog.net.pl

und diversen anderen kennungen xdsl-1234 usw.

reicht es aus wenn ich das Ding so sperre ?
<LIMIT GET POST>
order deny,allow
zgora.dialog.net.pl
</LIMIT>

grüße nach polen

Beitrag von **Freeboarder** » 16.07.2005, 08:21

@Ice Man

Was der kommt wieder?

Ist die Rewrite Maschine eingeschaltet?

also die .htaccess sollte mindestens so aussehen:

Code: Alles auswählen

RewriteEngine On 
RewriteCond %&#123;HTTP_USER_AGENT&#125; findlinks &#91;NC&#93; 
RewriteRule ^.* http&#58;//www.google.com &#91;L,R=301&#93;

Jetzt musst du folgendes wissen:

Der Robot kann natürlich immer noch in deinen Stats auftauchen, auch auf verschiedenen html site deiner site zugreifen, aber in den Stats unter http code sollte nun bei jedem zugriff den er macht ne 301 stehen. Das heisst soviel wie, er greift auf deine seite zu, weil er die irgendwo gefunden hat, beim zugriff wird er aber mit 301 refresh auf google umgeleitet, er kriegt also deine seite nicht zu sehen.

Falls du beim Zugriff dieses Bots aber immer noch ne Http Code: 200 drin hast, funktioniert dein MODREWRITE nicht. In diesem Fall musst du mit deinem Host Anbieter kurzschliessen und nachfragen ob ModRewrite unterstützt wird. Weiter ist zu beachten das wenn er mit der gleichen IP kommt mit der er schon mal da war, je nachdem noch alte einträge in den Stats kommen. Will heissen das Datum in den Stats genau anschauen, den wenn diese Rule noch nicht geschrieben war kann Sie auch nicht angewendet werden.

Ich hoffe die Sache ist nun für Dich einiges klarer geworden.

VG

FB

Beitrag von **Ice Man** » 16.07.2005, 11:33

also Mod Rewrite Funnzt 100 Pro

Hab ja den Suma Mod für phpbb unter anderen drinn.
Die anderen Bots werden ja auch von der .htaccess geblockt.

Habs noch mal eingebaut diesmal statt OR,NC hab ich NC, OR verwendet

Beitrag von **Chris2005** » 16.07.2005, 22:33

@Ice Man:

Das ist sehr komisch. habe ich im Moment keine Erklärung für.

Heute morgen war mal wieder die Nigeria Connection bei mir:

Code: Alles auswählen

IP&#58; 216.139.176.62  Mozilla/4.0 &#40;compatible; MSIE 6.0; Windows 98&#41;

Keine robots.txt, keine Bilder, blacklisted auf whois.sc

Beitrag von **Steph_Dan** » 17.07.2005, 06:04

Chris2005 hat geschrieben:Wenn Du noch mehr Regeln in der .htaccess hast, dann diesen Block als letztes nutzen. Setzt alles was mit kleinbuchstaben anfängt (bis auf die Ausnahmen mit dem !) vor die Tür.

Hi Chris!
Es hat mir sehr gut gefallen, noch als ich nur ein stummer Leser des Forums war. Da ich jetzt mitschreibe, habe ich auch eine Frage - an dich oder diejenigen, die dies einsetzen:

Wie oft kommt es vor, dass unerwünschte Viecher mit Großbuchstaben anfangen? Ich bin nämlich nicht sicher - es kann sein, dass ich zu überempfindlich reagiere. Wenn es weiter so geht werde ich irgendwann bei einer white-list enden

Beitrag von **Ice Man** » 17.07.2005, 10:16

@ Chris2005

hab mir gerade die Logs von gestern angeschaut.

sind lauter findlinks drinne, aber haben alle 302, und paar 400 als Server Code stehen.

heist das nun es hat geklappt ?

Beitrag von **mario** » 18.07.2005, 15:06

80.190.240.51 DE GERMANY - - IPX SERVER GMBH kam schon paar mal vorbei mit dem user-agent:

Googlebot/2.1 (+https://www.google.com/bot.html)

wird aber bei mir ausgefiltert, Resultat: 403

Beitrag von **Chris2005** » 18.07.2005, 15:50

@mario: kommt der immer mit derselben IP?

@Ice Man: Komisch, dass gerade diese Regel nicht funktioniert. Denn wenn sie funktionierte muesste ein 403 kommen. Dann probiere es mal mit der robots.txt ... Oder Du sperrst den IP Bereich. Damit setzt Du dann zwar vielleicht ein paar Besucher seitens der uni-leipzig oder die Tuer, aber soviele koennen das ja nicht sein

@Steph_Dan: Bei mir hat sich schon so einiges an "Crap" in er Kleinbuchstabenfalle verfangen. Natuerlich gibt es auch boese Bots mit "Grossbuchstaben". Da musst Du halt regelmaessig "nachjustieren", aber so fallen zumindstens schon mal die "Kleinbuchaben" weg.

Was die Whitelist angeht: Hard_Pollux setzt sowas ein, da er es Leid war immer die .htaccess nachzujustieren. Es ist in der Tat laestig fast jeden Tag irgendwelche Bots nachzutragen, aber eine whitelist ist mir ehrlich gesagt zu "heiss".

Beitrag von **mario** » 18.07.2005, 16:54

@chris2005

bis jetzt ja

Beitrag von **Freeboarder** » 18.07.2005, 19:20

@chris
sowie ich das sehe funktioniert das bei I_M schon, er hat nur kein [F] sondern ein [R] hinten an die Rule geschrieben. Was ein 302 und ein 400 ist brauch ich dir ja wohl kaum erklären zu müssen.

Auf jedenfall kriegt der Findlink nichts ausser der Bad Request Seite zu sehen.

@ Ice Man

302 kriegt er wenn die Rewrite Rule ein [R] am Ende stehen hat.

400 kriegt er dann wahrscheinlich weil du auf eine seite umschreibst die es nicht gibt.

Also folglich funktioniert das ganze.

Wie ich dir beschrieben habe ist das M_R nicht um Clienten vollständig am besuchen deiner Seite zu hindern, sondern hilft dabei, dass den unerwünschten Clienten(z.B.Findlink), eine andere, bzw. keine Seite(400) angezeigt wird.

Ich hoffe es ist nun alles klar und du kannst dein Gewissen(

) beruhigen.

MfG

FB

Beitrag von **kleinschmidt** » 15.02.2006, 11:45

Hallo an alle,

ich nutze folgende .htaccess und habe das Gefühl das da auch immer wieder was durch kommt!! Könnte einer der hier anwesenden Profis mal bitte einen Blick drauf werfen und mir sagen ob da irgendwo ein Fehler drinnen ist??:

RewriteEngine on

RewriteCond %{HTTP_HOST} !^www\.meine\.de$
RewriteRule ^(.*)$ https://www.meine.de/$1 [L,R=301]

RewriteRule ^zeigen_(.*),(.*).html$ $2.php?start=$1

RewriteCond %{HTTP_USER_AGENT} ^$[^$]+$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Anarchie [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^asterias [OR]
RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Black\.Hole [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^BlowFish [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com[OR]
RewriteCond %{HTTP_USER_AGENT} ^BotALot [OR]
RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bullseye [OR]
RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers [OR]
RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh [OR]
RewriteCond %{HTTP_USER_AGENT} ^CheeseBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^compatible\ ;\ MSIE\ 6.0 [OR]
RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck [OR]
RewriteCond %{HTTP_USER_AGENT} ^cosmos [OR]
RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DittoSpyder [OR]
RewriteCond %{HTTP_USER_AGENT} ^dloader(NaverRobot) [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^DTS\ Agent [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EroCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^findlinks [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Foobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Get [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GornKer [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} grub [NC]
RewriteCond %{HTTP_USER_AGENT} ^Harvest [OR]
RewriteCond %{HTTP_USER_AGENT} ^hloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^humanlinks [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} ^ichiro [OR]
RewriteCond %{HTTP_USER_AGENT} ^iCCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^IE\ \d\.\d\ Compatible.*Browser$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library [OR]
RewriteCond %{HTTP_USER_AGENT} ^InsurancoBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^Irvine [OR]
RewriteCond %{HTTP_USER_AGENT} ^JennyBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Kenjin\.Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Keyword\.Density [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^LexiBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^libWeb\/clsHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkScan\/8\.1a\.Unix [OR]
RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} ^mail [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mata.Hari [OR]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft\ URL\ Control [OR]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft\.URL [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIIxpc [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\.PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^moget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*\ obot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*NEWT [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla\/2 [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla\/3\.Mozilla\/2\.01 [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/4\.0$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR]
RewriteCond %{HTTP_USER_AGENT} ^NPBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^oBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^oegp [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^Openfind [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^PingALink [OR]
RewriteCond %{HTTP_USER_AGENT} ^ProPowerBot\/2\.14 [OR]
RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]
RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey [OR]
RewriteCond %{HTTP_USER_AGENT} ^RMA [OR]
RewriteCond %{HTTP_USER_AGENT} ^RIN\.\ Web\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^SearchExpress [OR]
RewriteCond %{HTTP_USER_AGENT} ^Siphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SlySearch [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SpankBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^spanner [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^suzuran [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Telesoft [OR]
RewriteCond %{HTTP_USER_AGENT} ^The\.Intraformant [OR]
RewriteCond %{HTTP_USER_AGENT} ^TheNomad [OR]
RewriteCond %{HTTP_USER_AGENT} ^TightTwatBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Titan [OR]
RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR]
RewriteCond %{HTTP_USER_AGENT} ^True_Robot [OR]
RewriteCond %{HTTP_USER_AGENT} ^turingos [OR]
RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^URLy\.Warning [OR]
RewriteCond %{HTTP_USER_AGENT} ^VCI [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWW\-Collector\-E [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xenu [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Lynx [OR]
RewriteCond %{HTTP_USER_AGENT} ^Konqueror [OR]
RewriteCond %{HTTP_USER_AGENT} ^Opera [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java [OR]
RewriteCond %{HTTP_USER_AGENT} ^thesubot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Python* [OR]
RewriteCond %{REMOTE_ADDR} ^217\.115\.(13[8-9]|14[0-3])\. [OR]
RewriteCond %{HTTP_USER_AGENT} ^ZyBorg*
RewriteRule ^.* - [F]

order deny,allow
deny from 67.15.0.0
deny from 67.15.128.0
deny from 67.15.160.0
deny from 130.83.
deny from 213.128.124.
deny from 213.128.125.
deny from 213.128.126.
deny from 213.128.127.
deny from 213.239.194.170
deny from 213.83.
deny from 212.19.
deny from router.chertan.ru
ErrorDocument 403 https://www.yahoo.co.jp/
ErrorDocument 404 https://www.yahoo.co.jp/
ErrorDocument 500 https://www.yahoo.co.jp/

vielen Dank schon mal!!

Beitrag von **kleinschmidt** » 25.02.2006, 10:40

Kann mir wiklich keiner helfen????

Gerne auch per PN!!