ABAKUS

Folgender Bot war heute bei mir.

Mozilla/5.0 (compatible;heritrix/@VERSION@+https://www.mpi-sb.mpg.de/)

Kam von 192.166.194.129 gw-decryptos.hsd.de

Wenigstens haben sie eine Web-Adresse angeben.

Such doch mal nach heritrix auf https://www.mpi-sb.mpg.de/.

Habe ich gemacht... No hits ... hast Du was gefunden?

Der könnte von hier gewesen sein: https://crawler.archive.org/

@ErwinRommel

Aber nicht von archive.org selbst von der Leine gelassen, denn er kam über eine deutsche IP (Cronon AG, Berlin).

Ich denke, ich werde den Jungs da mal ne Mail schreiben. Von mir aus sollen sie crawlen, aber dann bitte mit Hintergrund-Info

Das Internet ist öffentlich, da kann crawlen wer will. Wenn man jeden Webmaster erst um Erlaubnis bitten müsste, seine Webseite anzusehen... ich meine, das verlangt man doch von Google auch nicht. Seltsame Auffassung haste vom Internet.

wem 192.166.194.129 nicht koscher ist, sperrt über die ip per deny

SloMo hat geschrieben:Das Internet ist öffentlich, da kann crawlen wer will. Wenn man jeden Webmaster erst um Erlaubnis bitten müsste, seine Webseite anzusehen...

Das ist richtig. Aber wenigstens sollten sie eine Seite auf der Homepage einrichten wo über den Sinn und Zweck dieses Crawlers berichtet wird. Es gibt (habe die URL leider gerade nicht parat) auch so einen Uni-Crawler von irgendeiner Uni aus USA. Die schreiben brav, was sie machen und gut ist.

Ausserdem fragen kostet nix und ist meiner Meinung nach auch nicht "ungezogen".

Chris Deine Auffassung ist korrekt... Kirchen sind auch öffentlich und doch immer verschlossen. Warum sperrst Du den 192.166.194.129 nicht einfach aus? Was erwartest Du von denen?

Ich bin einfach nur neugierig. Wenn das irgendwelchen wissenschaftlichen Zwecken dient, dann sollen sie crawlen... Ist ja beim MPI auch anzunehmen.

Die Anmerkung mit den Kirchen ist gar nicht so falsch... Man muss vielleicht auch nicht alles wissen.