Crawler vom Max-Planck Institur

Beitrag von **Chris2005** » 16.06.2005, 16:05

Folgender Bot war heute bei mir.

Mozilla/5.0 (compatible;heritrix/@VERSION@+https://www.mpi-sb.mpg.de/)

Kam von 192.166.194.129 gw-decryptos.hsd.de

Wenigstens haben sie eine Web-Adresse angeben.

von **Anzeige von ABAKUS** »

Beitrag von **luigip** » 16.06.2005, 17:27

Such doch mal nach heritrix auf https://www.mpi-sb.mpg.de/.

Beitrag von **Chris2005** » 16.06.2005, 19:42

Habe ich gemacht... No hits ... hast Du was gefunden?

Beitrag von **ErwinRommel** » 16.06.2005, 20:15

Der könnte von hier gewesen sein: https://crawler.archive.org/

Beitrag von **luigip** » 17.06.2005, 12:40

@ErwinRommel

Aber nicht von archive.org selbst von der Leine gelassen, denn er kam über eine deutsche IP (Cronon AG, Berlin).

Beitrag von **Chris2005** » 17.06.2005, 12:50

Ich denke, ich werde den Jungs da mal ne Mail schreiben. Von mir aus sollen sie crawlen, aber dann bitte mit Hintergrund-Info

Beitrag von **SloMo** » 17.06.2005, 15:24

Das Internet ist öffentlich, da kann crawlen wer will. Wenn man jeden Webmaster erst um Erlaubnis bitten müsste, seine Webseite anzusehen... ich meine, das verlangt man doch von Google auch nicht. Seltsame Auffassung haste vom Internet.

Beitrag von **mario** » 17.06.2005, 16:50

wem 192.166.194.129 nicht koscher ist, sperrt über die ip per deny

Beitrag von **Chris2005** » 17.06.2005, 17:46

SloMo hat geschrieben:Das Internet ist öffentlich, da kann crawlen wer will. Wenn man jeden Webmaster erst um Erlaubnis bitten müsste, seine Webseite anzusehen...

Das ist richtig. Aber wenigstens sollten sie eine Seite auf der Homepage einrichten wo über den Sinn und Zweck dieses Crawlers berichtet wird. Es gibt (habe die URL leider gerade nicht parat) auch so einen Uni-Crawler von irgendeiner Uni aus USA. Die schreiben brav, was sie machen und gut ist.

Ausserdem fragen kostet nix

und ist meiner Meinung nach auch nicht "ungezogen".

Beitrag von **mario** » 17.06.2005, 17:59

Chris Deine Auffassung ist korrekt... Kirchen sind auch öffentlich und doch immer verschlossen. Warum sperrst Du den 192.166.194.129 nicht einfach aus? Was erwartest Du von denen?

Beitrag von **Chris2005** » 17.06.2005, 23:29

Ich bin einfach nur neugierig. Wenn das irgendwelchen wissenschaftlichen Zwecken dient, dann sollen sie crawlen... Ist ja beim MPI auch anzunehmen.

Die Anmerkung mit den Kirchen ist gar nicht so falsch... Man muss vielleicht auch nicht alles wissen.