Ja für sowas gibt es sehr schnelle crawler die auf windows oder Linux Basis laufen und mit Threads arbeiten so können zugleich mehrere 100 Webseiten besucht werden und der Ref hinterlassen werden um die 100.000 seiten zu besuchen(DSL) sind oft nur 1 - 2 stunden nötig je nach internetanbindung da kan...