cuil-spider nervt

Beitrag von **catcat** » 22.01.2010, 19:21

RewriteCond %{HTTP_USER_AGENT} ^.*twiceler.*$ [OR]
RewriteRule ^.* - [F]
Redirect / https://www.google.de/intl/de/about.html

Scheint zu funzen... glaube ich. Hätte ich zumindest gerne.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **scysys** » 23.01.2010, 19:15

Und funzt es Catcat ? Ich suche ebenfalls nach einer möglichkeit der Aussperung.

Der Bot hat es an einem Tag wirklich geschafft die logdatei auf knapp 150gb zu bringen und den Traffic von ca 300gb am Tag auf etwas über 1TB.

Das kann es nun echt nicht sein

Beitrag von **chris21** » 23.01.2010, 21:11

Warum blockt Ihr nicht über die IPs des Bots?

https://www.cuil.com/info/webmaster_info/

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **catcat** » 23.01.2010, 21:19

Wenn de das hier sperrst: 174.36.0.0-174.36.0.127 (wie weiter oben schon gepostet) klapps auf jeden Fall.
Ob meinz klappt, weiß ich grad nicht, da ich annem anderen Rechner sitze und keinen Zugriff auf meine logs hab.

Beitrag von **catcat** » 11.03.2010, 00:12

Hat Airport1 nen stellvertretenden Poster gefunden?

Beitrag von **online-ads** » 13.03.2010, 07:29

Danke für die IPs