Seite 1 von 2

welche Bots sperren?

Verfasst: 17.10.2006, 14:26
von hapepu
Hallo,

hat jemand ne aktuelle liste von bots die man auf jeden Fall per robots.txt sperren sollte?
Habe durch enige Beiträge im Forum bereits "gizliweb.com" und "thesubot" gesperrt.
Was gibt es sonst noch so, insbesondere diejenigen, die Content klauen/duplizieren.

Verfasst:
von

Verfasst: 17.10.2006, 14:29
von net(t)worker
naja... die "bösen" bots kannste ruhig in die robots.txt setzen... das juckt die nicht die bohne.... die musste schon per .htaccess richtig aussperren....

Verfasst: 17.10.2006, 14:32
von hapepu
kannst Du ein Beispiel geben, wie die htaccess ausshen müsste? besten Dank :-)

Verfasst:
von

Verfasst: 17.10.2006, 14:36
von abrek
Probier mal BOT-TRAP von Airport1

Verfasst: 17.10.2006, 14:40
von hapepu
Bot-Trap ist ein nettes Projekt. Danke für den Hinweis. Mich würde trotzdem an einem Beispiel, z.B. thesubot interessieren, wie die htaccess aussehen müsste.

Verfasst: 17.10.2006, 18:54
von net(t)worker
benutz mal die Suchfunktion hier im Forum, da gibts unzählige Threads über .htaccess und bots aussperren...

Verfasst: 17.10.2006, 19:03
von bydlo
<Limit GET>
order allow,deny
deny from 24.128.16.113
deny from 222.231.0.0/18
deny from 66.150.15.150
allow from all
</Limit>



RewriteEngine On


RewriteCond %{HTTP_USER_AGENT} ^.*WebZIP.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Stripper.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Offline.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Copier.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Crawler.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Snagger.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Teleport.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Reaper.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Wget.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Grabber.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Sucker.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Downloader.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Siphon.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Collector.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Mag-Net.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Widow.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Snake.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.BackWeb.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.gotit.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Vacuum.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Pump.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.HMView.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.HTTrack.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.JOC.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.likse.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Memo.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.pcBrowser.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.SuperBot.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.leech.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Mirror.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Recorder.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.GrabNet.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Likse.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Navroad.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.attach.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Magnet.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Surfbot.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Bandit.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Ants.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Buddy.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Whacker.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.thesubot.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Mozilla/4.0.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.FileHound.*$ [NC]
RewriteRule /* https://de.yahoo.com/ [L,R]

Verfasst: 18.10.2006, 11:07
von JR-EWING
oder mal meine Spider Trap anschauen

Verfasst: 18.10.2006, 12:18
von hapepu
@bydlo
Danke, werde ich komplett übernehmen.
Noch ne Frage:
Ich habe bisher in der htaccess nur die 404 usw. meldungen geregelt. kann ich direkt darunter mit dem anderen weitermachen, also ab der nächsten Zeile, oder muss das irgendwie getrennt sein?

Verfasst: 18.10.2006, 15:32
von ghostrider123
Hi,

die weiteren Servererror-Seiten (selbsterstellte) kannste direkt drunter angeben.

Weitere Spambots der Firma referertrick.com...

Verfasst: 22.03.2010, 08:34
von dehansen
87.118.116.23
87.118.82.66
87.118.82.104
217.114.213.157

Ist offenbar eine Firma die Refererspam anbietet, die oberen drei IPs sind Adressen der Spamserver, die 217er IP ist die des Servers der die Webseite hostet, von der Adresse haben wir aber bislang noch keine Spamzugriffe festgestellt.

Vielleicht findet ja jemand noch IP Nr. 4?

Letzte IP gehört nicht zum Serverpool...

Verfasst: 23.03.2010, 10:20
von dehansen
Ist nur die IP des Servers auf dem die Seite gehostet wird.
Laut dem Hoster ein Server der keine HTTP Requests abfeuert, was bislang tatsächlich so ist, die Spam Requests kommen ausschließlich aus dem 87.118.xxx.xxx Block.

Verfasst: 23.03.2010, 22:19
von Rem
Dann der Haufen Comment-Spammers, der mich genervt hat. Aber ich betreibe noch nicht mal ein Forum - jedenfalls scheint eine htaccess nicht zu bocken, auch wenn dort hunterte IPs drin sind:

Spider-Trap!

Verfasst: 23.03.2010, 22:52
von seonewbie
Gibt nichts besseres:

https://www.spider-trap.de/

und Ruhe ist für immer!

Gruß

Micha

Verfasst: 24.03.2010, 09:00
von Nullpointer
@Rem darf ich das so verstehen, dass man auf deine liste kommt, sobald man kommentarspam gemacht hat? macht doch bei dynamischen ips gar keinen sinn.