Gibt es sowas wie ein Deepweb?

Beitrag von **bara.munchies** » 06.11.2006, 12:32

Bin durch Zufall über den Beriff Deepweb gestolpert.
Gibt es sowas?
Wie kann man darauf zugreifen, wenn die Seiten nicht Indexiert werden wollen?

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Alpinist** » 06.11.2006, 12:40

bara.munchies hat geschrieben:Bin durch Zufall über den Beriff Deepweb gestolpert.
Gibt es sowas?
Wie kann man darauf zugreifen, wenn die Seiten nicht Indexiert werden wollen?

Als Beispiel fallen mir gleich Wissenschaftliche Arbeiten ein, die zwar frei zugänglich aber in den (unverlinkten) Untiefen der Uninetzwerken verborgen sind. Wie Du darauf zugreifen kannst? Z.B. stößt Du bei einer Recherche auf jemanden, der jemanden kennt, der über eine solche Abhandlung mal gesprochen hat

Was aber sicher ist, ist das der größte Teil des Internets nicht in den Indexen von Google & Co erfasst ist, sei es gewollt, aufgrund zu kurzer Lebenszeit oder durch Unfähigkeit der Ersteller. Nicht jeder hat ein Interesse von jedem gefunden zu werden

Grüße

Beitrag von **chio** » 06.11.2006, 12:40

Besonders gefragt scheint der Begriff nicht zu sein...
Sind damit nicht unverwertete (veraltete) Datenbestände und Chat-Protokolle gemeint? Was willst du denn da drin? Geheime CIA-Protokolle wirst du da sicher nicht finden.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Alpinist** » 06.11.2006, 12:45

Diese Definition fasst den Begriff noch etwas enger als ich das sehe:
https://www.internettutorials.net/deepweb.html

Ich denke, das sie aber zu eng gefasst (nur DB inhalte) und falsch (Multimediainhalte) ist. Ich bleibe bei meiner obigen Meinung, dass für mich das Deepweb nicht direkt erfassbare Inhalte des Internets sind - unabhängig von der Form.

Grüße

Beitrag von **bara.munchies** » 06.11.2006, 12:57

naja, laut dieser definition hier:

https://en.wikipedia.org/wiki/Deep_web

gibt es auch seiten die per robot.txt die sumas aussperren.
könnte man nicht hingehen und ne kleine suma bauen, die ausschliesslich seiten crawlt die suma per robot.txt ausschliessen? oder gibts sowas schon?

ne, ich such keine cia geheim dossiers, und anleitungen um atombomben zu bauen findet man ja auch so.
Nur aus neugierde.

Beitrag von **SloMo** » 06.11.2006, 13:19

könnte man nicht hingehen und ne kleine suma bauen, die ausschliesslich seiten crawlt die suma per robot.txt ausschliessen?

Dann hat man einen Datenbestand, der zu 99,9% aus SERPs und Kontaktformularen besteht. Die restlichen 0,1% könnten allerdings ziemlich interessant sein.

Beitrag von **Alpinist** » 06.11.2006, 13:33

SloMo hat geschrieben:
könnte man nicht hingehen und ne kleine suma bauen, die ausschliesslich seiten crawlt die suma per robot.txt ausschliessen?
Dann hat man einen Datenbestand, der zu 99,9% aus SERPs und Kontaktformularen besteht. Die restlichen 0,1% könnten allerdings ziemlich interessant sein.

Mit dem Dublicate Content den Du dann hast findest Du die 0,1% doch schnell

Beitrag von **800XE** » 06.11.2006, 16:25

bara.munchies hat geschrieben:naja, laut dieser definition hier:

https://en.wikipedia.org/wiki/Deep_web

gibt es auch seiten die per robot.txt die sumas aussperren.
könnte man nicht hingehen und ne kleine suma bauen, die ausschliesslich seiten crawlt die suma per robot.txt ausschliessen? oder gibts sowas schon?

ja, MSN

Google robots.txt

User-agent: *
Allow: /searchhistory/
Disallow: /news?output=xhtml&
Allow: /news?output=xhtml
Disallow: /search

Disallow: /search

msn Suche "textmagazin.de"
Treffer 1

Code: Alles auswählen

   www.google.de
    * www.google.de/search?q=cache&#58;textmagazin.de

...... obwohl, hat ja keinen Cache der Treffer