Eigene Suchmaschine???

Beitrag von **pi-de** » 12.11.2004, 11:05

@RW:
Ach was *g*
Files sind doch nicht schneller als eine DB Anbindung!?

Du solltest wirklich mal LinkPops Vorschlag in Betracht ziehen
oder das neu testen

von **Anzeige von ABAKUS** »

Beitrag von RW » 12.11.2004, 12:27

HI,

Es geht nicht um irgendeine Suchfunktion bzw. Abfrage einer Mysql Datenbank.
Dort liegen eindeutig die Vorteile des Datenbank-System auf der Hand.

Die Suchfunktion für Websites sollte eine Volltextsuche sein.
Selbst wenn ich die MySQL-Volltextsuche (ab der Version 3.23.23) benutze erreiche ich nicht annährend die Schnelligkeit einer Filebasierenden Lösung.

Versuchsumgebung war dabei eine Größe von 250 MB zu durchsuchenden Datenbestand.
Es sind Zeitunterschiede von bis zu 25 % aufgetreten.

Auch die Skript- Laufzeitbegrenzung bei den meisten Anbietern (30s) stellt ein Problem einer Volltextsuche auf Mysql Basis dar.

Aus diesen Versuch heraus habe ich zwei Suchfunktionsmodelle entworfen.

1. Vorindex der Datenbank ( Wort + Verweis auf ID )
2. Kombination Filesystem mit Datenbank

Mit Version 2 lassen sich bis zu 600 MB Datenbestand noch gut durchsuchen.
Vorrausetzung dafür sind jedoch mindestens 16 MB RAM

Bei Webspace mit weniger als 16 RAM kann die Datenindexfile auch geteilt werden, führt jedoch zu performance Verlust.

RW

Beitrag von **schorsch** » 12.11.2004, 13:58

weiss jemand wie große sumas ihre suche technisch umsetzen? also google, yahoo, msn...
die haben ja einen rießigen datenbestand, da ja alle seiten im cache gespeichert sind. und wenn man eine suchphrase eingibt wir ja in sekunden schnelle alles durchsucht. mit was für datenbanken wird da gearbeitet. mysql wahrscheinlich nicht. vielleicht oracel oder sowas? weiss dass jemand?

ich selbst würde auch gerne eine kleine suchabfrage für nen webkatalog programmieren. kennst jemand links zu irgendwelchen tutorials..wo man sieht wie man sowas programmiert. also so die grundlegenden dinge. ich will nicht auf keywords suchen sondern schon, dass seiten in einen cache kommen und dann der text durchsucht wird.

wäre cool wenn da jemand was drüber wüsste.

gruss

schorsch

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **stalker** » 12.11.2004, 14:06

@schorsch für dich reich wohl eine sql volltextsuche vollkommen aus

weitere infos über suchmaschinen und deren technik gibt es hier:
https://dbpubs.stanford.edu:8090/aux/index-en.html

Beitrag von **schorsch** » 12.11.2004, 14:27

naja ich würde schon gerne seiten in cache laden und den dann durchsuchen. nicht weil ich es unbedingt brauche sondern weil ich mal lust habe auch in der richtung was zu machen. und man wiess ja nie wenn man mal sowas plötzlich braucht, da man einen ansturm an besuchern bekommt

ne es intressiert mich nur. und will a weng rum probieren sowas selbst zu machen.
kennt jemand auch deutsch seiten. da ich diese englische sprache hasse und es nicht mag mich durch irgendwelche text durch zu kämpfen.

Beitrag von **Scubi** » 15.11.2004, 00:13

Ich habe jetzt mal unter https://www.scubi.de eine Suchmaschine inkl. Webkatalog installiert.

Ihr könnt Euch das ganze ja mal ansehen.

Muß noch vieles gemacht werde, aber in der Ruhe liegt die Kraft.

Mich würde interessieren wie die SEO`s den Webkatalog einschätzen, was Google betrifft.

Gruß Scubi

Beitrag von **schorsch** » 15.11.2004, 18:59

naja sieht doch ganz gut aus, aber woher hast du die suchmaschine? haste die selbst gemacht oder is des ein scrip?

gruss

schorsch

Beitrag von **Scubi** » 15.11.2004, 20:19

Hallo Schorsch,

das ist PhPDig.

Ist einfach mal eine Testgeschichte, wenn jemand etwas besseres kostenloses weiss, dann her damit.

Gruß Scubi

Beitrag von **schorsch** » 15.11.2004, 21:00

achso naja ich hocke auch grad an nem webkatalog, dem auch noch ne suchengine fehlt. mal schaun ob ich selber mach oder mir ein scrippt hole.

gruss schorsch

Beitrag von **ingo_altena** » 16.11.2004, 09:41

@scubi:

konntest Du bei phpdig nachteile feststellen, wie Langsamkeit bei mehr als 5.000 Seiten?

Danke

Beitrag von **Scubi** » 16.11.2004, 13:23

@ingo

Ich habe noch nicht genug Testkandidaten. Noch kann ich keine genaue Auskunft geben was Traffic Geschwindigkeit etc. betrifft. Ich muß noch verschiedene Optionen von PhpDig testen. Leider ist das Forum www.phpdig.de wenig besucht, so das man nur englisch Sprachige Foren nutzen kann.

Ich bin froh über jeden, der sich zu Testzwecken in den Katalog einträgt. Jede eingetragene Seite wird auch gespidert.

Gruß Scubi

Beitrag von **D@ve** » 07.02.2005, 21:15

Wenn ich den Thread hier nochmal wieder hochholen darf...

Ich bin auch schon seit einiger Zeit auf der Suche nach sowas. Mir schwebt da ein Misch aus Verzeichnis und Spider vor. Ich möchte gerne für Musiker eine entsprechende Suchmaschine anbeiten.
- es soll verschiedene Kategorien geben (Künstler Hersteller, Sops etc)
- der Index soll aber "erspidert" werden
- bevor eine Domain gespidert wird möchte ich sie von Hand freischalten (um zu überprüfen, ob die Kategorie stimmt und sie überhaupt was mit Musik zu tun hat)
- in dem Zusammenhang wäre es schön wenn der Spider trotzdem externe Links sammeln und in einer Art ToDo-Liste abspeichern würde, wo ein Mitarbeiter sie zum Spidern scharfschalten kann.
- das ganze soll mit php/MySQL laufen und nicht mit irgendeiner billigen Text-datenbank auf Filebasis (wie die meisten Such-Scripte die ich bisher benutzt habe)

Was noch schön wäre:
- die Möglichkeit, Keyword-abhänige Werbung zu schalten
- ein irgendwie gearteter Ranking Algorythmus (zumindest Relevanz des Suchwortes)
- Open Source (muss aber nicht zwangsweise, zahle auch gerne für sowas)

Sind jetzt alles ziemlich utopische Wünsche, aber vielleicht kennt ja jemand sowas...

thx, Dave

Beitrag von **innuendo** » 07.02.2005, 23:30

@all - zum Thema: File basierende Datenbanksysteme sind wesentlich schneller als Mysql Lösungen...

Leider, auch wenns nicht auf die schnelle einleuchtet - es ist so. Ich wollte es auch nicht glauben, man hat mich aber überzeugt, und wenn man scharf nachdenkt sagt man auch "Eh kloar!"

lg,
Innuendo

Beitrag von **Scubi** » 08.02.2005, 00:00

Hallo innuendo,

kannst Du da mal Beispiele nennen?

Am besten ein Suma Script posten mit dem man vergleichen kann?

Ich habe die erfahrung mit PhpDig gemacht, das das Script nur auf dem eigenen Server Lahm wie Hulle ist..also wenn man seine eigenen Seiten spidert. Ist der Spider aber auf anderen Seiten unterwegs, geht es recht flott.

Gruß Scubi

Beitrag von **D@ve** » 08.02.2005, 02:08

innuendo hat geschrieben:@all - zum Thema: File basierende Datenbanksysteme sind wesentlich schneller als Mysql Lösungen...

Leider, auch wenns nicht auf die schnelle einleuchtet - es ist so. Ich wollte es auch nicht glauben, man hat mich aber überzeugt, und wenn man scharf nachdenkt sagt man auch "Eh kloar!"

lg,
Innuendo

Also das kannst Du nicht einfach so in den Raum stellen und musst Du schon näher erläutern... Ich meine das MySQL nicht so unbedingt das gelbe vom Ei ist, was DBMS angeht ist mir schon klar, aber dass ein File-basierendes System schneller ist...???

Gruß, Dave