Wie schon aus dem Titel zu entnehmen ist, bin ich auf der Suche nach einem kleinen Robot, mit dem ich durch das Web crawlen kann.
Ich will keine Suchmaschine bauen, das heißt ich will nicht alle Seiten speichern oder indizieren.
Mein eigentliches Ziel ist es auf den Seiten nach Bildern zu suchen und diese mit einer eigenen Methode auf Gleichheit mit vorhandenen Bildern in einem Ordner, die auf der Festplatte gespeichert sind, zu vergleichen. (Es geht ums Urheberrecht von Bildern)
Da es sich um ein vorgegebenes Projekt handelt bin ich an Java gebunden. Ich habe auch schon einige Webspider gefunden. (Snatch, Websphinx). Jedoch noch keinen, der meine Ansprüche erfüllt. Die meisten bieten schon fast zu viel Funktionalität.
Ich habe auch nicht erwartet einen zu finden. Aber falls es so gewesen wäre, wäre das ja für mich extrem arbeitserleichternd gewesen.
Mich würde interessieren was ihr denkt wie ich vorgehen sollte.
Sollte ich einen vorgefertigten Spider nehmen und diesen auf meine Bedürfnisse zuschneiden?
Oder lieber doch von Grund auf selbst einen programmieren?
Ich kann nicht einschätzen was sinnvoller ist. Ich denke, dass sowohl das anpassen eines vorhandenen Spiders schwierig ist, als auch das Schreiben eines Eigenen.
Wahrscheinlich hat ja jemand von euch Erfahrung mit Spidern und hat vielleicht einen Tip auf Lager.
Vielen Dank schonmal im voraus,
mfg, beachdiddi
