Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Ist völlig sprachunabhängig. Perl, PHP, Python oder Java fallen mir für diesen Zweck auf Anhieb ein. Alles, was einigermaßen unkompliziert auf Webcontent zugreifen und auf Webservern laufen kann ist geeignet.damael hat geschrieben:Ich nehme an mit java oder einer anderen hohen Programmiersprache.
Gehört das mal wieder zu der Software die nirgends zu finden ist? Aber es gibt doch bestimmt jenste Programme die crawlen können. Genial wäre natürlich, wenn ich die Software selber programmieren könnte, und es nicht so ein kompiliertes Teil wäre.Ich finde es übrigens toll, dass endlich mal jemand keinen Content, sondern lieber den Code einer Pseudosuchmaschine klauen will. Hut ab!
Für das Webfrontend oder für die internen Datenbankstrukturen? Ist das erste Mal dass ich davon höre, deswegen meine Neugier.Google setzt Python ein.
Ist alles selbst gemacht. Es gibt zwar einige Klassenbibliotheken in Delphi für den reinen TCP/IP Kram, aber der macht eh nur einen winzigen Teil der Software aus. Weniger als 1%.Habt ihr für WWWeasel den gesamten Bot selber programmiert?
Töhnt schon interessant was du da sagst mit den hohen Programmiersprachen... lolIst alles selbst gemacht. Es gibt zwar einige Klassenbibliotheken in Delphi für den reinen TCP/IP Kram, aber der macht eh nur einen winzigen Teil der Software aus. Weniger als 1%.
Ne du, ehrlich nicht Skriptsprachen eignen sich hier nicht.SloMo hat geschrieben:Google setzt Python ein. Ich denke die haben sich das ziemlich gut überlegt.
Was meinst Du mit "sowas"? Bei den Hintergrund-Prozessen (Ranking, Aufbereitung der Daten) kann es sicherlich auf das Quäntchen mehr Performance ankommen. Aber bei einem Harvester/Spider ist die Internetanbindung der Flaschenhals. Da ist der Komfort und die einfache Verwendung einer Skriptumgebung ein wichtiges Kriterium.pi-de hat geschrieben:Ne du, ehrlich nicht Skriptsprachen eignen sich hier nicht.SloMo hat geschrieben:Google setzt Python ein. Ich denke die haben sich das ziemlich gut überlegt.
Sowas wird eigentlich immer in C++ geschrieben.
Web.de hat auch die Logik in C++ und darüber liegt Python.
Aber ich habe gehört, dass sie auf Servlets umstellen wollen,
was aber nur das Frontend (Pythonteil) betreffen wird.
Falsch. Die Internet-Anbindung stellt da überhaupt kein Problem dar. CPU-Leistung (zum Parsen und Verarbeiten der Seiten) und Festplattenzugriffe (bei der Indexerstellung) sind bei wirklich großen Datenmengen das Problem.Aber bei einem Harvester/Spider ist die Internetanbindung der Flaschenhals.
Python liegt weder "darüber" noch "darunter": Python hat einerseits den Vorteil, dass es als "Makrosprache" problemlos in C++-Anwendungen eingebettet werden kann, andrerseits lassen sich C++-Routinen bequem in Python-Anwendungen leicht und effizient einbinden.Ne du, ehrlich nicht [icon_wink.gif] Skriptsprachen eignen sich hier nicht.
Sowas wird eigentlich immer in C++ geschrieben.
Web.de hat auch die Logik in C++ und darüber liegt Python.