Seite 1 von 1

twiceler aussperren - warum funktioniert das nicht?

Verfasst: 12.07.2007, 15:50
von sword
Hallo

Ich versuche seit einiger Zeit den Bot Twiceler auszusperren.

Als User Agent verwendet er:
mozilla/5.0 (twiceler-0.9 https://www.cuill.com/twiceler/robot.html)

und das hab ich in der htaccess stehen:

RewriteCond %{HTTP_USER_AGENT} Microsoft\ URL\ Control [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Snoopy.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^twiceler-0\.9.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^cazoodlebot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^vwbot.*$ [NC]
RewriteRule .* - [F,L]

Habs auch schon mit RewriteCond %{HTTP_USER_AGENT} ^twiceler$ [NC,OR] und RewriteCond %{HTTP_USER_AGENT} ^twiceler.*$ [NC,OR] versucht.

Bei den anderen Bots funktioniert es. Nur twiceler kommt immer wieder. Was hab ich denn falsch gemacht?

Verfasst:
von

Verfasst: 12.07.2007, 17:45
von luzie
versuche es mal mit robots.txt ?

angeblich will er sich daran halten ... :roll:

https://www.newdy.org/

Verfasst: 13.07.2007, 06:47
von auftragslinker
versuchs mal mit

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^.*\(twiceler-0\.9.*$ [NC,OR] 
;-)

Verfasst: 20.07.2007, 22:28
von Keyser Soze
luzie hat geschrieben:versuche es mal mit robots.txt ?

angeblich will er sich daran halten ... :roll:

https://www.newdy.org/
Nein tut er definitiv nicht. Habe ich auf mehreren Servern am eigenen Leib erfahren.

Verfasst: 21.07.2007, 09:12
von rudi_rennrad
Schreib einfach ein freundliche Mail. Antwort kam innerhalb von 24h.
Dear Steffen,

Yankee-Deutsch-Sprake: Die Spinne ist getötet worden.

Twiceler is an experimental crawler that we are developing for a new search engine.
It is important to us that it obey robots.txt, and that it not crawl sites that do not wish to be crawled. I will add www.*******.de to our list of sites to exclude and I apologize for any inconvenience this has caused you.


Sincerely,


James Akers
Operations Engineer
Cuill, Inc.

Verfasst: 21.07.2007, 11:54
von JR-EWING
Für genau solche Sachen hab ich die Spider Trap gebastelt !

Twiceler loswerden und andere Bots blocken.

Verfasst: 17.06.2008, 07:05
von reivax
ich habe unter diesem link ein Tutorial erstellt wie jeder einfach und schnell zumindest den twiceler aussperren kann, auch wenn es bis zu 2 Wochen dauern kann bis der Twiceler selbst das ganze mit bekommt, und seine besuche unterlässt.
https://lu.olefaschool.org/courses/bots/