Suche Parser um Inhalt einer Seite festzustellen

Beitrag von **Luigi** » 25.01.2008, 18:44

Hallo!
Ich suche einen Parser für eine Suchmaschine, der den Inhalt einer Webseite feststellt und in eine Datenbank packt.

Ein System, vergleichbar mit Google, das mir sagt, dass auf der Webseite xy ein Text zum Thema Handy, Klingeltöne etc. steht.

Gibt es sowas als Script oder so?

Gruß
Lugii

von **Anzeige von ABAKUS** »

Beitrag von **Kristian** » 25.01.2008, 19:11

Hallo

Luigi hat geschrieben:Hallo!
Ich suche einen Parser für eine Suchmaschine, der den Inhalt einer Webseite feststellt und in eine Datenbank packt.

Ein System, vergleichbar mit Google, das mir sagt, dass auf der Webseite xy ein Text zum Thema Handy, Klingeltöne etc. steht.

Gibt es sowas als Script oder so?

Gruß
Lugii

Aber ja, da gibt es reichlich Scripte und Ansätze.
Solange es sich um eine Webseite handelt, wie du sagst, kann man jedes davon uneingeschränkt empfehlen.
Falls es mal mehr als eine Seite wird solltest du mal hinterfragen, wie es mit der Rechenleistung bei G. aussieht.

Gruss
Kristian

Beitrag von **Luigi** » 25.01.2008, 20:41

Es wäre größenwahnsinnig sich mit Google zu messen.
Ich möchte lediglich ein paar hundert einzelseiten crawlen.

Welches Script ist denn vielversprechend?

von **Anzeige von ABAKUS** »

Beitrag von **800XE** » 25.01.2008, 20:51

Code: Alles auswählen



function text_cut&#40;$text, $from, $to,$replace=''&#41;
&#123;
  $cut='';
  $pos1  = strpos&#40;$text,$from&#41;;
  if &#40; $pos1 &#41;
  &#123;
    $pos2  = strpos&#40;$text,$to,$pos1&#41;;
    if &#40; $replace &#41;
      return&#40;substr&#40;$text,0,$pos1&#41;.$replace.substr&#40;$text,$pos2+1&#41;&#41;;
    if &#40; $pos2 &#41;
      $cut = substr&#40;$text,$pos1,$pos2-$pos1+1&#41;;
  &#125;
  return&#40;$cut&#41;;
&#125;
function text_cutcontent&#40;$text, $from, $to&#41;
&#123;
  $cut='';
  $pos1  = strpos&#40;$text,$from&#41;;
  if &#40; $pos1 &#41;
  &#123;
    $pos2  = strpos&#40;$text,$to,$pos1&#41;;
    $pos1 += strlen&#40;$from&#41;;
    if &#40; $pos2 &#41;
      $cut = substr&#40;$text,$pos1,$pos2-$pos1&#41;;
  &#125;
  return&#40;$cut&#41;;
&#125;
function text_replace&#40;$text, $cut, $replace&#41;
&#123;
  return&#40;str_replace&#40;$cut,$replace,$text&#41;&#41;;
&#125;

$buffer = file_get_contents&#40; $http &#41;;
$body = text_cutcontent&#40; $buffer, '<bod', '</bod'&#41;;
$contentBodyStart=strpos&#40;$body,'>'&#41;;
$content = substr&#40; $body, $contentBodyStart+1&#41;;

Beitrag von **bennos** » 25.01.2008, 21:02

Hallo

Es gibt im OpenSource Bereich einige interessante Projekte die das können.

Lucene
Nutch
mnoGoSearch

und noch viele mehr

gruss
bennos

Beitrag von **uwew** » 25.01.2008, 22:30

Ganz einfach gehts auch mit wget -r , allerdings ohne Datenbank.

Beitrag von **ff-webdesigner** » 26.01.2008, 08:25

ich hab da auchmal ein skript gebastelt, das die google serps durchgeht und dann von den einzelnen seiten inhalte saugt - selbstverständlich nur zu demozwecken

bei interesse:pn

Beitrag von **Luigi** » 26.01.2008, 08:31

Ich will nichts runterladen oder saugen, ich möchte die zu durchsuchenden Webseiten lediglich inhaltlich klassifizieren.

Ich dachte eher an sowas wie https://developer.yahoo.com/search/cont ... ction.html

LEider funzt das Teil nicht so gut in Germany und vergleichbares scheint es nicht zu geben.

Luigi