Turnitin - Was bringt mir dieser Spider ?

Beitrag von **Luckybuy3000** » 10.09.2004, 08:43

Habe in den Logs folgende Spider entdeckt:
TurnitinBot/2.0 https://www.turnitin.com/robot/crawlerinfo.html
Anscheinend für Universitäten und College in den USA.
Wir haben zwar im entferntesten Sinne auch mit Ausbildung zu tun, aber ich denke mal, der Besuch bringt unserer Seite nichts.Also sperren ?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **viggen** » 10.09.2004, 09:49

Ich hab ihn gesperrt...

Der bot wird von Universitäten und Colleges dafür verwendet um zu sehen ob die Studenten für Ihre Arbeit irgendwo im Web abgeschrieben haben...

mfg
viggen

Beitrag von **Luckybuy3000** » 10.09.2004, 12:18

Danke für die Info. Werde ihn dann auch sperren.

Beitrag von **fool** » 11.09.2004, 19:14

Hallo,
hier nochmal zur Info - was Turnitin macht:

#

Turnitin peddles their plagiarism prevention system to draconian universities. Their TurnitinBot hit me a whopping 19,575 times in January. I have not checked whether they respect robots.txt, and with these numbers, I really don’t care. They’re sucking down over a gigabyte of data a month for no purpose that even remotely benefits me or any of my readers. I have banned them by User-Agent and IP address.

RewriteCond %{REMOTE_ADDR} ^64.140.49.6([6-9])$ [OR]
RewriteCond %{HTTP_USER_AGENT} TurnitinBot
RewriteRule .* - [F,L]

Quelle: https://diveintomark.org/archives/2003/ ... go_to_hell

Sieht so aus, als ob das ein altbekannter Nerver ist.
Ich habe ihn auch ausgesprerrt und das reduziert schon den Traffic.

Gruß
fool

Beitrag von **Luckybuy3000** » 12.09.2004, 16:02

hallo fool,

das war doch mal ein interessanter Tipp und guter Link. Allerdings vermisse ich IBM_Planetwide auf der Liste. Hab den jetzt per robots.txt ausgesperrt. Mal gucken ob er sich daran hält.