Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

.htaccess - Bots (Googlebot) aussperren. Brauche HILFE !!!

Ajax, Hijax, Microformats, RDF, Markup, HTML, PHP, CSS, MySQL, htaccess, robots.txt, CGI, Java, Javascript usw.
monezmo
PostRank 4
PostRank 4
Beiträge: 160
Registriert: 16.08.2010, 20:30

Beitrag von monezmo » 04.12.2010, 02:27

Ich möchte gerne für ein bestimmtes Verzeichnis den Zugriff von diversen Bots sperren. Dafür habe ich mir unten angehängte .htaccess Datei zusammen geschustert und in das entsprechende Verzeichnis geladen.

Allerdings sperrt die Datei nicht so wie sie sollte. Es kommt ein 500er Fehler, Internal Server Error.

Wo habe ich denn den Fehler gemacht? :oops:

Code: Alles auswählen

RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} ^WebCopy.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetcher.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebMirror.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^fetch.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^google.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^.goo.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^msnbot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^GeoHasher.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Crawler.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MLBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^info_bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yahoo.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yahoo!.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Slurp.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Linguee_Bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^seexie.com_bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Exabot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^DoubleVerify.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Scoutjet.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^www.scoutjet.com.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Jakarta.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^PEAR.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^dnsinspect.com.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^DNSInspect.com.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^www.dnsinspector.com.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^robotgenius.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Purebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^bot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Python-urllib.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Spider.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^DotBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Slurp.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget/1.11.4.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^CFG_SPIDER_USER_AGENT.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver-web.archive.org.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1 (+http://www.google.com/bot.html).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^JMediapartners-Google/2.1.* [OR] 
RewriteCond %{HTTP_USER_AGENT} ^msnbot/1.0 (+http://search.msn.com/msnbot.htm).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/4.0 compatible ZyBorg/1.0 (wn-14.zyborg@looksmart.net; http://www.WISEnutbot.com).* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java.*
RewriteRule ^/.* - [forbidden]


Danke fürs drüber schauen! Ich hoffe ihr könnt mir helfen
Zuletzt geändert von monezmo am 04.12.2010, 02:31, insgesamt 1-mal geändert.

Anzeige von ABAKUS

von Anzeige von ABAKUS »


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

catcat
PostRank 10
PostRank 10
Beiträge: 10292
Registriert: 02.08.2006, 13:21
Wohnort: Litauen

Beitrag von catcat » 04.12.2010, 02:30

Öh... wenn Du Dein Zeugs eh nicht öffentlich verfügbar haben willst, warum machst Du dann nicht gleich ne PW-Abfrage auf Deiner Site?

monezmo
PostRank 4
PostRank 4
Beiträge: 160
Registriert: 16.08.2010, 20:30

Beitrag von monezmo » 04.12.2010, 02:32

Wow das ging ja schnell ;)

Es geht nur um ein einzelnes Verzeichnis, dieses soll für menschliche User zugänglich sein aber für einige Bots nicht.