twiceler aussperren - warum funktioniert das nicht?

[sword]

Hallo

Ich versuche seit einiger Zeit den Bot Twiceler auszusperren.

Als User Agent verwendet er:
mozilla/5.0 (twiceler-0.9 https://www.cuill.com/twiceler/robot.html)

und das hab ich in der htaccess stehen:

RewriteCond %{HTTP_USER_AGENT} Microsoft\ URL\ Control [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Snoopy.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^twiceler-0\.9.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^cazoodlebot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^vwbot.*$ [NC]
RewriteRule .* - [F,L]

Habs auch schon mit RewriteCond %{HTTP_USER_AGENT} ^twiceler$ [NC,OR] und RewriteCond %{HTTP_USER_AGENT} ^twiceler.*$ [NC,OR] versucht.

Bei den anderen Bots funktioniert es. Nur twiceler kommt immer wieder. Was hab ich denn falsch gemacht?

[luzie]

versuche es mal mit robots.txt ?

angeblich will er sich daran halten ...

https://www.newdy.org/

[auftragslinker]

versuchs mal mit

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^.*\(twiceler-0\.9.*$ [NC,OR] 

[Keyser Soze]

versuche es mal mit robots.txt ?

angeblich will er sich daran halten ...

https://www.newdy.org/

Nein tut er definitiv nicht. Habe ich auf mehreren Servern am eigenen Leib erfahren.

[rudi_rennrad]

Schreib einfach ein freundliche Mail. Antwort kam innerhalb von 24h.

Dear Steffen,

Yankee-Deutsch-Sprake: Die Spinne ist getötet worden.

Twiceler is an experimental crawler that we are developing for a new search engine.
It is important to us that it obey robots.txt, and that it not crawl sites that do not wish to be crawled. I will add www.*******.de to our list of sites to exclude and I apologize for any inconvenience this has caused you.


Sincerely,


James Akers
Operations Engineer
Cuill, Inc.

[JR-EWING]

Für genau solche Sachen hab ich die Spider Trap gebastelt !

[reivax]

ich habe unter diesem link ein Tutorial erstellt wie jeder einfach und schnell zumindest den twiceler aussperren kann, auch wenn es bis zu 2 Wochen dauern kann bis der Twiceler selbst das ganze mit bekommt, und seine besuche unterlässt.
https://lu.olefaschool.org/courses/bots/