Wie durchsucht man am besten "das unsichtbare Web"?
Diese Frage stellen sich gerade so ziemlich alle großen Suchmaschinen und die die es werden wollen.
Die großen denken, der Erfolg liegt im Bereich Peer-to-Peer Suche / Desktop Suche, auf dieser Grundlage setzt Microsoft und Google (Puffin) auf... Yahoo denkt sich, Kooperationen mit zahlreichen Open-Source und Behörden einzugehen und deren Datenbanken "durchsuchbar" zu machen.
Auch glauben alle an Personalisierung, Lokalisierung oder Thematisierung der Suchergebnisse...
Der beste Weg, meiner Meinung, wird schlussendlich eine Mischung aus Allem sein.
Eine zum Thema passende Peer-to-Peer/Desktop Web-Suche ist zum Beispiel: https://emea-search.blinkx.com/BroadbandDebug/
Da findet man auch mal Sachen die man bei Google/Yahoo nicht findet.