Spezielle Suchmaschine - ein paar Fragen

Beitrag von **wizard2k** » 04.07.2006, 12:51

Hallo,
ich würde gerne eine eigene Suchmaschine für die Seiten von Berlin.de und anderen großen Städten programmieren, so dass Besucher meiner Webseite direkt auf Inhalte der Städteseiten zurückgreifen können, ohne sich erst durchklicken zu müssen.
Natürlich will ich den Inhalt von Berlin.de nicht kopieren bzw. klauen, sondern nur einen Textausschnitt anzeigen lassen, der den Suchbegriff enthält und dann auf die entsprechende Seite von Berlin.de verweisen. So ähnlich wie Google das macht, allerdings auf ein paar Domains begrenzt.

Ist es Ok, ein paar Seiten zu durchsuchen und die Ergebnisse auf der eigenen Seite anzuzeigen? Wenn ja, auf wieviele Wörter sollte ich die Ausgabe beschränken?

Würde mich über Antworten oder Links zum Thema sehr freuen!
Grüße, wizard2k

von **Anzeige von ABAKUS** »

Beitrag von **speedy** » 04.07.2006, 14:06

so etwas ähnliches habe ich auch,

250 Zeichen würde ich sagen,

Beitrag von **wizard2k** » 04.07.2006, 16:00

Hi speedy,

Danke für Deine Antwort! Meinst Du, ich brauche für eine große Seite wie z.B. Berlin.de einen Bot, der die Domain regelmäßig besucht, indiziert und in einer Datenbank speichert? Dann bräuchte ich ja eine riesengroße Datenbank; Berlin.de hat immerhin über 28.000.000 Seiten im Index von Google!

Oder kann ich die Domain direkt durchsuchen? Denke mal, das würde zu lange dauern...

Wie kann ich eine solche Städtesuchmaschine ohne zu hohe Kosten umsetzen?

Danke nochmal...

von **Anzeige von ABAKUS** »

Beitrag von **Bogomir** » 04.07.2006, 16:23

Ich möchte dich ja nicht deprimieren, aber bei der Menge an Seiten siehts eher schlecht aus ... umsonst gibts solche Suchmaschinen eher für kleine Seitenzahlen oder viel Geld ... stichwort htdig , picosearch , google search appliance, google mini, milando sitesearch, ultraseek

Grüße
Bogomir

Beitrag von **speedy** » 04.07.2006, 17:10

natürlich kannst du die domain durchsuchen, und warum nur berlin.de wurd doch gleich mehrere seiten durchsuchen,

seiten anzahl solte dich nicht stören, du mußt gut sein das ist wichtig, zusätzlich mußt du dir natürlich auch gedanken machen zum ranking der ausgelsenen seiten, wie bekommst du möglichst viele seiten in den index, diese seiten müssen am besten vor berlin.de in den serps stehen, etc. usw. und noch vielllll mehr

ohne zu hohe kosten? na ja nur eine volltextsuche bekommst du sicher um 4 - 5 tausend euro > ob das was bringt ist eine andere sache.......

am besten du überdenkst das ganze noch mal, fängst von vorne an zuplanen schaust dir andere seiten an und machst es besser, minimum deiner planung solte schon 1/2 jahr sein, um auch sagen zu können hat es einen sinn oder nicht

Beitrag von **wizard2k** » 04.07.2006, 17:17

Hi speedy,
hast mich wieder zuversichtlicher gestimmt. Die Idee wächst und es dauert sicher noch bis zur Umsetzung. Allein die Programmierung... Ich habe schon den Ergeiz, das mal selber zu versuchen.
Mit Kosten meine ich die laufenden Serverkosten und nicht die des Scripts. Wieviel Gigabyte Mysql-Dantenbank-Speicher man wohl für 28.000.000 Seiten unformatierten Text in etwa bräuchte?

Beitrag von RW » 04.07.2006, 17:35

Hi

Wieviel Gigabyte Mysql-Dantenbank-Speicher man wohl für 28.000.000 Seiten unformatierten Text in etwa bräuchte?

Mit Mysql und größer als ein Giga und Volltext ....

Ich will Deinen Optimismus nicht bremsen ...
Hast Du schon mal was mit Daten ab 1 Giga mit Mysql gelöst?
Ich glaube nicht ...

Selbst wenn du einen Vorindex nutzt ist bei 1,5 schluß mit lustig.

RW

Beitrag von **wizard2k** » 04.07.2006, 17:45

Hallo,
manchmal brauche ich jemanden, der mich bremst, weil ich sonst zuviel Zeit investiere, ohne daß was bei rauskommt.
Ich habe zwar schon mit Datenbanken mit mehreren hunderttausend Einträgen gearbeitet, diese waren allerdings nicht als Volltext formatiert.
Ich werde von dem Vorhaben erstmal absehen und mich meinen anderen Projekten zuwenden.
EDIT: Ideen wie es doch noch funktionieren könnte, sind natürlich trotzdem willkommen