Suche Parser um Inhalt einer Seite festzustellen

[Luigi]

Hallo!
Ich suche einen Parser für eine Suchmaschine, der den Inhalt einer Webseite feststellt und in eine Datenbank packt.

Ein System, vergleichbar mit Google, das mir sagt, dass auf der Webseite xy ein Text zum Thema Handy, Klingeltöne etc. steht.

Gibt es sowas als Script oder so?

Gruß
Lugii

[Kristian]

Hallo

Hallo!
Ich suche einen Parser für eine Suchmaschine, der den Inhalt einer Webseite feststellt und in eine Datenbank packt.

Ein System, vergleichbar mit Google, das mir sagt, dass auf der Webseite xy ein Text zum Thema Handy, Klingeltöne etc. steht.

Gibt es sowas als Script oder so?

Gruß
Lugii

Aber ja, da gibt es reichlich Scripte und Ansätze.
Solange es sich um eine Webseite handelt, wie du sagst, kann man jedes davon uneingeschränkt empfehlen.
Falls es mal mehr als eine Seite wird solltest du mal hinterfragen, wie es mit der Rechenleistung bei G. aussieht.

Gruss
Kristian

[Luigi]

Es wäre größenwahnsinnig sich mit Google zu messen.
Ich möchte lediglich ein paar hundert einzelseiten crawlen.

Welches Script ist denn vielversprechend?

[800XE]

Code: Alles auswählen

function text_cut($text, $from, $to,$replace='')
{
  $cut='';
  $pos1  = strpos($text,$from);
  if ( $pos1 )
  {
    $pos2  = strpos($text,$to,$pos1);
    if ( $replace )
      return(substr($text,0,$pos1).$replace.substr($text,$pos2+1));
    if ( $pos2 )
      $cut = substr($text,$pos1,$pos2-$pos1+1);
  }
  return($cut);
}
function text_cutcontent($text, $from, $to)
{
  $cut='';
  $pos1  = strpos($text,$from);
  if ( $pos1 )
  {
    $pos2  = strpos($text,$to,$pos1);
    $pos1 += strlen($from);
    if ( $pos2 )
      $cut = substr($text,$pos1,$pos2-$pos1);
  }
  return($cut);
}
function text_replace($text, $cut, $replace)
{
  return(str_replace($cut,$replace,$text));
}

$buffer = file_get_contents( $http );
$body = text_cutcontent&#40; $buffer, '<bod', '</bod'&#41;;
$contentBodyStart=strpos&#40;$body,'>'&#41;;
$content = substr&#40; $body, $contentBodyStart+1&#41;;

[bennos]

Hallo

Es gibt im OpenSource Bereich einige interessante Projekte die das können.

Lucene
Nutch
mnoGoSearch

und noch viele mehr

gruss
bennos

[uwew]

Ganz einfach gehts auch mit wget -r , allerdings ohne Datenbank.

[ff-webdesigner]

ich hab da auchmal ein skript gebastelt, das die google serps durchgeht und dann von den einzelnen seiten inhalte saugt - selbstverständlich nur zu demozwecken bei interesse:pn

[Luigi]

Ich will nichts runterladen oder saugen, ich möchte die zu durchsuchenden Webseiten lediglich inhaltlich klassifizieren.

Ich dachte eher an sowas wie https://developer.yahoo.com/search/cont ... ction.html

LEider funzt das Teil nicht so gut in Germany und vergleichbares scheint es nicht zu geben.

Luigi