Nutch CVS/0.03-dev
Spider der Alpha OpenSource Suchmaschine
https://www.nutch.org/
beachtet Robots.txt
bekannte IP: 213.255.36.41
Um diesen Robot von Ihrer Seite zu bannen geben sie folgende Zeile in Ihre Robots.txt ein
Zukünftiger öffentlicher Index:
User-agent: Nutch
Disallow: /
Demo Index:
User-agent: NutchOrg
Disallow: /
Weitere Infos: https://www.nutch.org/docs/bot.html
gruß
tbone.
Archiv