welche Bots sperren?

[hapepu]

Hallo,

hat jemand ne aktuelle liste von bots die man auf jeden Fall per robots.txt sperren sollte?
Habe durch enige Beiträge im Forum bereits "gizliweb.com" und "thesubot" gesperrt.
Was gibt es sonst noch so, insbesondere diejenigen, die Content klauen/duplizieren.

[Anonymous]

naja... die "bösen" bots kannste ruhig in die robots.txt setzen... das juckt die nicht die bohne.... die musste schon per .htaccess richtig aussperren....

[hapepu]

kannst Du ein Beispiel geben, wie die htaccess ausshen müsste? besten Dank

[abrek]

Probier mal BOT-TRAP von Airport1

[hapepu]

Bot-Trap ist ein nettes Projekt. Danke für den Hinweis. Mich würde trotzdem an einem Beispiel, z.B. thesubot interessieren, wie die htaccess aussehen müsste.

[Anonymous]

benutz mal die Suchfunktion hier im Forum, da gibts unzählige Threads über .htaccess und bots aussperren...

[bydlo]

<Limit GET>
order allow,deny
deny from 24.128.16.113
deny from 222.231.0.0/18
deny from 66.150.15.150
allow from all
</Limit>



RewriteEngine On


RewriteCond %{HTTP_USER_AGENT} ^.*WebZIP.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Stripper.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Offline.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Copier.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Crawler.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Snagger.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Teleport.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Reaper.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Wget.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Grabber.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Sucker.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Downloader.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Siphon.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Collector.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Mag-Net.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Widow.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Snake.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.BackWeb.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.gotit.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Vacuum.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Pump.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.HMView.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.HTTrack.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.JOC.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.likse.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Memo.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.pcBrowser.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.SuperBot.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.leech.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Mirror.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Recorder.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.GrabNet.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Likse.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Navroad.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.attach.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Magnet.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Surfbot.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Bandit.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Ants.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Buddy.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Whacker.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.thesubot.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Mozilla/4.0.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.FileHound.*$ [NC]
RewriteRule /* https://de.yahoo.com/ [L,R]

[JR-EWING]

oder mal meine Spider Trap anschauen

[hapepu]

@bydlo
Danke, werde ich komplett übernehmen.
Noch ne Frage:
Ich habe bisher in der htaccess nur die 404 usw. meldungen geregelt. kann ich direkt darunter mit dem anderen weitermachen, also ab der nächsten Zeile, oder muss das irgendwie getrennt sein?

[ghostrider123]

Hi,

die weiteren Servererror-Seiten (selbsterstellte) kannste direkt drunter angeben.

[dehansen]

87.118.116.23
87.118.82.66
87.118.82.104
217.114.213.157

Ist offenbar eine Firma die Refererspam anbietet, die oberen drei IPs sind Adressen der Spamserver, die 217er IP ist die des Servers der die Webseite hostet, von der Adresse haben wir aber bislang noch keine Spamzugriffe festgestellt.

Vielleicht findet ja jemand noch IP Nr. 4?

[dehansen]

Ist nur die IP des Servers auf dem die Seite gehostet wird.
Laut dem Hoster ein Server der keine HTTP Requests abfeuert, was bislang tatsächlich so ist, die Spam Requests kommen ausschließlich aus dem 87.118.xxx.xxx Block.

[Rem]

Dann der Haufen Comment-Spammers, der mich genervt hat. Aber ich betreibe noch nicht mal ein Forum - jedenfalls scheint eine htaccess nicht zu bocken, auch wenn dort hunterte IPs drin sind:

[seonewbie]

Gibt nichts besseres:

https://www.spider-trap.de/

und Ruhe ist für immer!

Gruß

Micha

[Nullpointer]

@Rem darf ich das so verstehen, dass man auf deine liste kommt, sobald man kommentarspam gemacht hat? macht doch bei dynamischen ips gar keinen sinn.