Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

.htaccess - Bots (Googlebot) aussperren. Brauche HILFE !!!

Ajax, Hijax, Microformats, RDF, Markup, HTML, PHP, CSS, MySQL, htaccess, robots.txt, CGI, Java, Javascript usw.
monezmo
PostRank 4
PostRank 4
Beiträge: 160
Registriert: 16.08.2010, 20:30

Beitrag von monezmo » 04.12.2010, 02:27

Ich möchte gerne für ein bestimmtes Verzeichnis den Zugriff von diversen Bots sperren. Dafür habe ich mir unten angehängte .htaccess Datei zusammen geschustert und in das entsprechende Verzeichnis geladen.

Allerdings sperrt die Datei nicht so wie sie sollte. Es kommt ein 500er Fehler, Internal Server Error.

Wo habe ich denn den Fehler gemacht? :oops:

Code: Alles auswählen

RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} ^WebCopy.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetcher.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebMirror.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^fetch.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^google.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^.goo.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^msnbot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^GeoHasher.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Crawler.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MLBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^info_bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yahoo.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yahoo!.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Slurp.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Linguee_Bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^seexie.com_bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Exabot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^DoubleVerify.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Scoutjet.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^www.scoutjet.com.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Jakarta.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^PEAR.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^dnsinspect.com.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^DNSInspect.com.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^www.dnsinspector.com.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^robotgenius.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Purebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Python-urllib.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Spider.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^DotBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Slurp.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget/1.11.4.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^CFG_SPIDER_USER_AGENT.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver-web.archive.org.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1 (+http://www.google.com/bot.html).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^JMediapartners-Google/2.1.* [OR] 
RewriteCond %{HTTP_USER_AGENT} ^msnbot/1.0 (+http://search.msn.com/msnbot.htm).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/4.0 compatible ZyBorg/1.0 (wn-14.zyborg@looksmart.net; http://www.WISEnutbot.com).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java.*
RewriteRule ^/.* - [forbidden]


Danke fürs drüber schauen! Ich hoffe ihr könnt mir helfen
Zuletzt geändert von monezmo am 04.12.2010, 02:31, insgesamt 1-mal geändert.