welche Bots sperren?

Beitrag von **hapepu** » 17.10.2006, 14:26

Hallo,

hat jemand ne aktuelle liste von bots die man auf jeden Fall per robots.txt sperren sollte?
Habe durch enige Beiträge im Forum bereits "gizliweb.com" und "thesubot" gesperrt.
Was gibt es sonst noch so, insbesondere diejenigen, die Content klauen/duplizieren.

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Anonymous** » 17.10.2006, 14:29

naja... die "bösen" bots kannste ruhig in die robots.txt setzen... das juckt die nicht die bohne.... die musste schon per .htaccess richtig aussperren....

Beitrag von **hapepu** » 17.10.2006, 14:32

kannst Du ein Beispiel geben, wie die htaccess ausshen müsste? besten Dank

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **abrek** » 17.10.2006, 14:36

Probier mal BOT-TRAP von Airport1

Beitrag von **hapepu** » 17.10.2006, 14:40

Bot-Trap ist ein nettes Projekt. Danke für den Hinweis. Mich würde trotzdem an einem Beispiel, z.B. thesubot interessieren, wie die htaccess aussehen müsste.

Beitrag von **Anonymous** » 17.10.2006, 18:54

benutz mal die Suchfunktion hier im Forum, da gibts unzählige Threads über .htaccess und bots aussperren...

Beitrag von **bydlo** » 17.10.2006, 19:03

<Limit GET>
order allow,deny
deny from 24.128.16.113
deny from 222.231.0.0/18
deny from 66.150.15.150
allow from all
</Limit>

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^.*WebZIP.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Stripper.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.*Offline.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Copier.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Crawler.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Snagger.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Teleport.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Reaper.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Wget.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Grabber.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Sucker.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Downloader.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Siphon.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Collector.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Mag-Net.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Widow.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Snake.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.BackWeb.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.gotit.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Vacuum.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Pump.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.HMView.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.HTTrack.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.JOC.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.likse.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Memo.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.pcBrowser.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.SuperBot.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.leech.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Mirror.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Recorder.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.GrabNet.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Likse.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Navroad.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.attach.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Magnet.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Surfbot.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Bandit.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Ants.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Buddy.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Whacker.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.thesubot.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.Mozilla/4.0.*$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} ^.FileHound.*$ [NC]
RewriteRule /* https://de.yahoo.com/ [L,R]

Beitrag von **JR-EWING** » 18.10.2006, 11:07

oder mal meine Spider Trap anschauen

Beitrag von **hapepu** » 18.10.2006, 12:18

@bydlo
Danke, werde ich komplett übernehmen.
Noch ne Frage:
Ich habe bisher in der htaccess nur die 404 usw. meldungen geregelt. kann ich direkt darunter mit dem anderen weitermachen, also ab der nächsten Zeile, oder muss das irgendwie getrennt sein?

Beitrag von **ghostrider123** » 18.10.2006, 15:32

Hi,

die weiteren Servererror-Seiten (selbsterstellte) kannste direkt drunter angeben.

Beitrag von **dehansen** » 22.03.2010, 08:34

87.118.116.23
87.118.82.66
87.118.82.104
217.114.213.157

Ist offenbar eine Firma die Refererspam anbietet, die oberen drei IPs sind Adressen der Spamserver, die 217er IP ist die des Servers der die Webseite hostet, von der Adresse haben wir aber bislang noch keine Spamzugriffe festgestellt.

Vielleicht findet ja jemand noch IP Nr. 4?

Beitrag von **dehansen** » 23.03.2010, 10:20

Ist nur die IP des Servers auf dem die Seite gehostet wird.
Laut dem Hoster ein Server der keine HTTP Requests abfeuert, was bislang tatsächlich so ist, die Spam Requests kommen ausschließlich aus dem 87.118.xxx.xxx Block.

Beitrag von **Rem** » 23.03.2010, 22:19

Dann der Haufen Comment-Spammers, der mich genervt hat. Aber ich betreibe noch nicht mal ein Forum - jedenfalls scheint eine htaccess nicht zu bocken, auch wenn dort hunterte IPs drin sind:

Beitrag von **seonewbie** » 23.03.2010, 22:52

Gibt nichts besseres:

https://www.spider-trap.de/

und Ruhe ist für immer!

Gruß

Micha

Beitrag von **Nullpointer** » 24.03.2010, 09:00

@Rem darf ich das so verstehen, dass man auf deine liste kommt, sobald man kommentarspam gemacht hat? macht doch bei dynamischen ips gar keinen sinn.