Robots sperren: Wie definiert man Ausnahmen und IP-Blöcke?

Beitrag von **Hobby-SEO** » 29.10.2005, 02:39

Hallo,

ich arbeite gerade an meiner .htaccess-Datei, um böse Bots u.ä. auszusperren. Ein ganz kleiner Auszug:

RewriteEngine on

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Alexibot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^asterias &#91;OR&#93;
...
...
# die etwas gefaehrlicheren Regeln weil komplexer und vielleicht zu viel verboten wird
RewriteCond %&#123;HTTP_USER_AGENT&#125; collect &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; crawl &#91;NC,OR&#93;
...
...
# geblockte IP Adressen
RewriteCond %&#123;REMOTE_ADDR&#125; ^195\.166\.237\.

RewriteRule ^.*$ spider\.htm &#91;L&#93;

Nun meine Fragen:

1. Angenommen, ich möchte den User-agent TollerCrawler, der ja auch von

RewriteCond %{HTTP_USER_AGENT} crawl [NC,OR]

erfasst wird, von der Verbotsliste ausschließen, ihm das Spidern meiner Website also erlauben: Wie geht das?

2. Angenommen, ich möchte nur die IPs 195.166.237.30 bis 195.166.237.40 sperren: Wie geht das?

3. Hat jemand Interesse daran, dass ich meinen "vollständigen" Regelkatalog, sobald er fertig ist, hier poste? (Kann im schlechtesten Fall noch ein bis zwei Wochen dauern.)

LG, Hobby-SEO

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Hobby-SEO** » 29.10.2005, 08:17

Hihi,

kaum ist meine allererste Antirobots-htaccess für ein paar Stunden online, ist auch schon ein Bot geblockt worden:

Code: Alles auswählen

Host&#58; 218.232.120.81
/robotsxx.txt
Http Code&#58; 200  Date&#58; Oct 28 19&#58;33&#58;03  Http Version&#58; HTTP/1.0  Size in Bytes&#58; 851
Referer&#58; -
Agent&#58; PlantyNet_WebRobot_V1.9 dhkang@plantynet.com

/
Http Code&#58; 200  Date&#58; Oct 28 19&#58;33&#58;04  Http Version&#58; HTTP/1.0  Size in Bytes&#58; 851
Referer&#58; -
Agent&#58; PlantyNet_WebRobot_V1.9 dhkang@plantynet.com

Scheint ein asiatischer Hersteller für Jugendschutzsoftware, also kein Böser, zu sein. Brauch den aber trotzdem nicht auf meiner Seite. Gegriffen hat übrigens die recht weit (zu weit?) gefasste Regel:

RewriteCond %{HTTP_USER_AGENT} robot [NC,OR]

Achja, eine Frage hätte ich auch noch: Welche Variante ist Server-schonender?

a. eine Liste a la RewriteCond %{REMOTE_ADDR} ^195\.166\.237\.
b. der weg über order deny,allow und deny from....

Oder hält sich das hinsichtlich der Serverbelastung in etwa die Waage?

LG, Hobby-SEO