Seit heute dürfen, laut dmoz.robots.txt, nur mehr einige wenige Suchmaschinen das ODP mit Ihren Crawlern besuchen. (Google,Alexa-Wayback,Inktomi,Fast und Teoma).
Dieser Schritt wurde vermutlich gesetzt um Bandbreite zu sparen und die Zugriffszeit für die ODP Seiten zu erhöhen.
Es besteht jedoch laut robots.txt die Möglichkeit für andere Suchmaschinen das ODP zu kontaktieren und unter Umtständen auf die Liste gesetzt zu werden.
Archiv