Gibt es sowas wie ein Deepweb?

[bara.munchies]

Bin durch Zufall über den Beriff Deepweb gestolpert.
Gibt es sowas?
Wie kann man darauf zugreifen, wenn die Seiten nicht Indexiert werden wollen?

[Alpinist]

Bin durch Zufall über den Beriff Deepweb gestolpert.
Gibt es sowas?
Wie kann man darauf zugreifen, wenn die Seiten nicht Indexiert werden wollen?

Als Beispiel fallen mir gleich Wissenschaftliche Arbeiten ein, die zwar frei zugänglich aber in den (unverlinkten) Untiefen der Uninetzwerken verborgen sind. Wie Du darauf zugreifen kannst? Z.B. stößt Du bei einer Recherche auf jemanden, der jemanden kennt, der über eine solche Abhandlung mal gesprochen hat

Was aber sicher ist, ist das der größte Teil des Internets nicht in den Indexen von Google & Co erfasst ist, sei es gewollt, aufgrund zu kurzer Lebenszeit oder durch Unfähigkeit der Ersteller. Nicht jeder hat ein Interesse von jedem gefunden zu werden

Grüße

[chio]

Besonders gefragt scheint der Begriff nicht zu sein...
Sind damit nicht unverwertete (veraltete) Datenbestände und Chat-Protokolle gemeint? Was willst du denn da drin? Geheime CIA-Protokolle wirst du da sicher nicht finden.

[Alpinist]

Diese Definition fasst den Begriff noch etwas enger als ich das sehe:
https://www.internettutorials.net/deepweb.html

Ich denke, das sie aber zu eng gefasst (nur DB inhalte) und falsch (Multimediainhalte) ist. Ich bleibe bei meiner obigen Meinung, dass für mich das Deepweb nicht direkt erfassbare Inhalte des Internets sind - unabhängig von der Form.

Grüße

[bara.munchies]

naja, laut dieser definition hier:

https://en.wikipedia.org/wiki/Deep_web

gibt es auch seiten die per robot.txt die sumas aussperren.
könnte man nicht hingehen und ne kleine suma bauen, die ausschliesslich seiten crawlt die suma per robot.txt ausschliessen? oder gibts sowas schon?

ne, ich such keine cia geheim dossiers, und anleitungen um atombomben zu bauen findet man ja auch so.
Nur aus neugierde.

[SloMo]

könnte man nicht hingehen und ne kleine suma bauen, die ausschliesslich seiten crawlt die suma per robot.txt ausschliessen?

Dann hat man einen Datenbestand, der zu 99,9% aus SERPs und Kontaktformularen besteht. Die restlichen 0,1% könnten allerdings ziemlich interessant sein.

[Alpinist]

könnte man nicht hingehen und ne kleine suma bauen, die ausschliesslich seiten crawlt die suma per robot.txt ausschliessen?

Dann hat man einen Datenbestand, der zu 99,9% aus SERPs und Kontaktformularen besteht. Die restlichen 0,1% könnten allerdings ziemlich interessant sein.

Mit dem Dublicate Content den Du dann hast findest Du die 0,1% doch schnell

[800XE]

naja, laut dieser definition hier:

https://en.wikipedia.org/wiki/Deep_web

gibt es auch seiten die per robot.txt die sumas aussperren.
könnte man nicht hingehen und ne kleine suma bauen, die ausschliesslich seiten crawlt die suma per robot.txt ausschliessen? oder gibts sowas schon?

ja, MSN


Google robots.txt

User-agent: *
Allow: /searchhistory/
Disallow: /news?output=xhtml&
Allow: /news?output=xhtml
Disallow: /search

Disallow: /search


msn Suche "textmagazin.de"
Treffer 1

Code: Alles auswählen

   www.google.de
    * www.google.de/search?q=cache:textmagazin.de

...... obwohl, hat ja keinen Cache der Treffer