cuil-spider nervt

Beitrag von **catcat** » 22.01.2010, 19:21

RewriteCond %{HTTP_USER_AGENT} ^.*twiceler.*$ [OR]
RewriteRule ^.* - [F]
Redirect / https://www.google.de/intl/de/about.html

Scheint zu funzen... glaube ich. Hätte ich zumindest gerne.

von **Anzeige von ABAKUS** »

Beitrag von **scysys** » 23.01.2010, 19:15

Und funzt es Catcat ? Ich suche ebenfalls nach einer möglichkeit der Aussperung.

Der Bot hat es an einem Tag wirklich geschafft die logdatei auf knapp 150gb zu bringen und den Traffic von ca 300gb am Tag auf etwas über 1TB.

Das kann es nun echt nicht sein

Beitrag von **chris21** » 23.01.2010, 21:11

Warum blockt Ihr nicht über die IPs des Bots?

https://www.cuil.com/info/webmaster_info/

von **Anzeige von ABAKUS** »

Beitrag von **catcat** » 23.01.2010, 21:19

Wenn de das hier sperrst: 174.36.0.0-174.36.0.127 (wie weiter oben schon gepostet) klapps auf jeden Fall.
Ob meinz klappt, weiß ich grad nicht, da ich annem anderen Rechner sitze und keinen Zugriff auf meine logs hab.

Beitrag von **catcat** » 11.03.2010, 00:12

Hat Airport1 nen stellvertretenden Poster gefunden?

Beitrag von **online-ads** » 13.03.2010, 07:29

Danke für die IPs