webalta crawler - wie aussperren?

Beitrag von **sword** » 06.03.2008, 21:35

Hi!

Seit Wochen versuche ich den webalta crawler/2.0 auszusperren per htaccess. Aber das Ding kommt immer wieder!

Ich weiss folgendes:

IP: 77.91.224.9
User Agent: webalta crawler/2.0

Habs damit versucht:

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^webalta.*$ &#91;NC,OR&#93;

und

Code: Alles auswählen

RewriteCond %&#123;REMOTE_ADDR&#125; ^77.91.224.9 &#91;OR&#93;

Wie kann ich den endlich von meinen Seiten fernhalten?

von **Anzeige von ABAKUS** »

Beitrag von **GreenHorn** » 07.03.2008, 17:23

deny from 77.91.224.0/21

Beitrag von **Clarius** » 25.05.2008, 21:19

Der Crawler ist bei mir heute von 85.17.173.1 aufgetaucht. Hat massiv gecrawlt. Keine robots.txt abgefragt.

Bisher hatte ich auch o.g. IP-Range ausgesperrt.

Grüße,
Clarius