https://fast.no/de/products/fast_web_search/crawler_faq
Robot von Alltheweb
falls nicht erwünscht
User-agent: fast
Disallow: /
beachtet robots.txt
bräuchte noch IP Range dann könnten wir es zur Datenbank hinzufügen
Archiv