ABAKUS

Ach ja ich brauche die Software übrigens für mein Projekt hier: www.wide-design.ch/linktester

Du siehst also, kein Content Klau. Aber für Spidersoftware Klau bekomm ich langsam immer mehr Lust...

Franz

Ich persönlich setze da keinesfalls auf irgendwelche Websprachen. Auch wenn die Just-in-Time Compiler einiger Sprachen mittlerweile teilweise recht gut sein mögen, an die Performance von nativem Code kommen die dann doch nicht ran.

Unsere Software für WWWeasel ist in Borland Delphi erstellt. Bei Datenmengen von derzeit circa 11,8 Millionen Seiten (die 50gb belegen!) ist Performance einfach das Allerwichtigste.

Google setzt Python ein. Ich denke die haben sich das ziemlich gut überlegt.

@WWWeasel
Gerade vorher habe ich mich über die ausgelassen, die deinen Bot aussperren wollten.

Habt ihr für WWWeasel den gesamten Bot selber programmiert? Oder gibt es eine Klasse die einem die Arbeit abnimmt?

Gruss
Franz

@SloMo

Google setzt Python ein.

Für das Webfrontend oder für die internen Datenbankstrukturen? Ist das erste Mal dass ich davon höre, deswegen meine Neugier.

@damael

Habt ihr für WWWeasel den gesamten Bot selber programmiert?

Ist alles selbst gemacht. Es gibt zwar einige Klassenbibliotheken in Delphi für den reinen TCP/IP Kram, aber der macht eh nur einen winzigen Teil der Software aus. Weniger als 1%.

Alles zusammen sind es etwas über 10.000 Zeilen Sourcecode.

Ich habe mir ein paar Funktionen zum spidern in php gebaut.

Ist alles selbst gemacht. Es gibt zwar einige Klassenbibliotheken in Delphi für den reinen TCP/IP Kram, aber der macht eh nur einen winzigen Teil der Software aus. Weniger als 1%.

Töhnt schon interessant was du da sagst mit den hohen Programmiersprachen... lol

Vielleicht kennst du eine gute Spider-Software, die ich mit php füttern kann?

So wie ich das sehe brauchst du ja nur einen "nackten" Spider, du brauchst ja keinen Indexer oder irgendwas, das die Daten dann verarbeitet. Oder?
Das sollte ja schnell einmal gebastelt sein.

Swoas vielleicht ? https://phpcrawl.cuab.de/

SloMo hat geschrieben:Google setzt Python ein. Ich denke die haben sich das ziemlich gut überlegt.

Ne du, ehrlich nicht Skriptsprachen eignen sich hier nicht.
Sowas wird eigentlich immer in C++ geschrieben.
Web.de hat auch die Logik in C++ und darüber liegt Python.
Aber ich habe gehört, dass sie auf Servlets umstellen wollen,
was aber nur das Frontend (Pythonteil) betreffen wird.

pi-de hat geschrieben:

SloMo hat geschrieben:Google setzt Python ein. Ich denke die haben sich das ziemlich gut überlegt.

Ne du, ehrlich nicht Skriptsprachen eignen sich hier nicht.
Sowas wird eigentlich immer in C++ geschrieben.
Web.de hat auch die Logik in C++ und darüber liegt Python.
Aber ich habe gehört, dass sie auf Servlets umstellen wollen,
was aber nur das Frontend (Pythonteil) betreffen wird.

Was meinst Du mit "sowas"? Bei den Hintergrund-Prozessen (Ranking, Aufbereitung der Daten) kann es sicherlich auf das Quäntchen mehr Performance ankommen. Aber bei einem Harvester/Spider ist die Internetanbindung der Flaschenhals. Da ist der Komfort und die einfache Verwendung einer Skriptumgebung ein wichtiges Kriterium.

Hier noch eine Quelle:
https://www.python.org/Quotes.html

Gruß,
SloMo

Aber bei einem Harvester/Spider ist die Internetanbindung der Flaschenhals.

Falsch. Die Internet-Anbindung stellt da überhaupt kein Problem dar. CPU-Leistung (zum Parsen und Verarbeiten der Seiten) und Festplattenzugriffe (bei der Indexerstellung) sind bei wirklich großen Datenmengen das Problem.

Beispiel: Ein Robot arbeitet ohne Weiteres mit 100 Seiten/Sekunde. Das sind dann Pi*Daumen etwa 3MB/s oder 24mbit/s. Das ist für die Internet-Anbindung ein Klacks. Aber 3MB HTML-Text pro Sekunde zu parsen und die Ergebnisse davon (etwa 30.000 Wörter und 2.500 Links) in einen Index einzufügen... aber hallo...

@pi-de

Ne du, ehrlich nicht [icon_wink.gif] Skriptsprachen eignen sich hier nicht.
Sowas wird eigentlich immer in C++ geschrieben.
Web.de hat auch die Logik in C++ und darüber liegt Python.

Python liegt weder "darüber" noch "darunter": Python hat einerseits den Vorteil, dass es als "Makrosprache" problemlos in C++-Anwendungen eingebettet werden kann, andrerseits lassen sich C++-Routinen bequem in Python-Anwendungen leicht und effizient einbinden.
Eine gekonnte und ausgewogene Mischung zw. Python und C++ ist für derartige Anwendungen (Suche) geradezu ideal.

Darüber hinaus wird Python zunehmend gern im Rahmen von Smartphone-Anwendungen genutzt (Handybereich)...In diesem Bereich kann man mit x Zeilen Python Anwendungen realisieren, für die man in C++ ca. das Zehnfache an Code benötigt...
Dank Tkinter ist die GUI-Entwicklung mit Python auch um einiges schneller realisierbar als mit C++ und für Server- und Internetbasierten Anwendungen gibt es - auch bei zeitkritischen Anwendungen - kaum Performance-Verluste...im Gegensatz zu manch Java-Anwendung...:-):-)

Gruss,

KC