atw-crawler
Verfasst: 10.09.2003, 18:46
https://fast.no/de/products/fast_web_search/crawler_faq
Robot von Alltheweb
falls nicht erwünscht
User-agent: fast
Disallow: /
beachtet robots.txt
bräuchte noch IP Range dann könnten wir es zur Datenbank hinzufügen
Robot von Alltheweb
falls nicht erwünscht
User-agent: fast
Disallow: /
beachtet robots.txt
bräuchte noch IP Range dann könnten wir es zur Datenbank hinzufügen