ABAKUS

'suchmaschinen'/'robots'.

bist du dir deiner fragen nicht bewusst?

----------------------------------------------

In welchen Grössenordnungen/mit welchem Hintergrund gehst du an diese Aufgabe heran?

Hallo Dirk,

vielleicht hilft Dir https://www.gossamer-threads.com . Soweit ich weiss, gibt es für deren Produkt Links SQL optional auch ein Spider-Plugin. Software sollte so schlecht nicht sein, hat ein PR8.

Gruss,
Johannes

chrise hat geschrieben:'suchmaschinen'/'robots'.
bist du dir deiner fragen nicht bewusst?

irgendwie kann ich deinen postings nicht ganz folgen.

Brahms hat geschrieben:vielleicht hilft Dir https://www.gossamer-threads.com . Soweit ich weiss, gibt es für deren Produkt Links SQL optional auch ein Spider-Plugin. Software sollte so schlecht nicht sein, hat ein PR8.

nene ... darum gehts nicht. ich würde sowas gerne selbst machen wollen. irgendwas fertiges einsetzen kann ja jeder ...

dirk: ihr habt ein paar was ?

chrise: 'suchmaschinen'/'robots'.


wo ist das unverständnis?

noachmal: In welchen Grössenordnungen/mit welchem Hintergrund gehst du an diese Aufgabe heran?

gossamer-threads betreiben übles logspamming für ihr produkt, die würde ich a priori nicht unterstützen. sondern eher sowas wie libwww für meine verhältnisse umbauen.

Hi,

habe schon mal eine SUMA programmiert. War zwar nicht direkt für Webseiten sondern eher für Schmuddelbilder (pfui pfui pfui - Ist schon lange her - Ich war jung und brauchte das Geld - Bitte verzeiht mir) aber die war nicht sehr performant. Ich habe mit der SUMA ca. 500-600MB Bilder pro Tag geschafft. Eine Richtige SUMA muss wesentlich mehr bringen.
Stelle Dir mal vor, Du hast ca 100Mio Pages im Index (ein ca. Wert für eine Deutsche SUMA) und musst mindestens die Hälfte davon einmal pro Monat aktualisieren. Das sind ca. 20 Seiten abrufe pro Sekunde (grob überschlagen). Das schaffe ich mit meiner Software einfach nicht. Selbst wget (ein Tool das nur Webseiten aus dem Internet herunterlädt) schafft das nicht.
Das nächste Problem ist der Speicher. Die SUMA muss in wenigen Millisekunden mehrere Gigabyte Daten durchsuchen und die relevanten Seiten finden. OK, das ist mit ein wenig Struktur ganz gut machbar, aber dann kommt das größte und komplexeste Problem. Die Bewertung einer Seite. Und hier habe ich nicht einmal eine grobe Ahnung was da auf einen zukommt.

Aber Wenn sich ein paar verrückte finden, bin ich natürlich wieder dabei.

Ich bin derzeit auch rein spasseshalber an der roboterentwicklung.

Mein Problem derzeit ist allerdings noch wie man die Daten am effektivsten speichert um diese später schnell verarbeiten zu können.

Würde mich über ein paar Literaturverweise freuen, da die Ausführungen auf den Uni Seiten viel zu oberflächlich sind.

Im übrigen hat stefan(suchmaschinentricks.de) mit neomo ja schon seine Suchmaschine am Start und diese geht ja bald auch in die öffentliche Testphase.

@stalker

Das Grün ist ja augenfeindlich(neomo).

ist ja auchnicht von mir ;D aber die Resultate sollen schon nicht schlecht sein

@chrise
wie handhabt ihr denn die indexbildung
bin immernoch auf der suche nach geeigneter Literatur :/

stalker hat geschrieben: bin immernoch auf der suche nach geeigneter Literatur :/

Eine interessante Abhandlung über Suchmaschinen, ob es das ist was du suchst weiss ich nicht, auf jeden fall sehr interessant (englisch)

wirklich interessant
aber eider ist das meiste schon bekannt :/

Aber die externen Verweise bieten auch nocheinmal viel Stoff:)