Netcraft WebCrawler

Liest keine robots.txt, ruft ~2 Seiten pro Sekunde ab, das rund um die Uhr. Es werden auch ständig nicht-existierende Seiten aufgerufen... dass da ein 404er zurückkommt und diese URLs auch definitiv nirgendwo verlinkt sind, scheint den Bot nicht im geringsten zu stören.
Nach einer Sperrung per .htaccess hören die Zugriffe nicht auf, sondern gehen unvermindert weiter (robots.txt darf er weiterhin lesen, tut es aber nicht).
Zugriffe erfolgen von cornucopia.netcraft.com - was zur Hölle ist das? Ich dachte bisher, Netcraft sei eine mehr oder weniger seriöse Webseite...