Morgen !
Seit einigen Tagen geistert ein Crawler der "Technischen Universität Berlin" auf einem Projekt von mir herum und macht nun doch schon einiges an Traffic aus. Kennt vielleicht jemand diesen Crawler, bzw. sollte ich diesen besser aussperren ?
Folgende Informationen dazu konnte ich recherchieren:
Bot-Name / Version: MIA DEV/search:robot/0.0.1
Bot-Beschreibung: MIA Bot for research project MIA
Bot-Projekt: www.MIA-marktplatz.de
Crawler: https://www.neofonie.de/spider - bzw. https://spider.neofonie.de
Hier noch ein Video mit einigen Hintergründen zum Projekt:
https://www.digital-zeitschrift.de/medi ... alk&id=329
So wie ich das verstehe, crawlen die "angeblich" das gesamte Web und verkaufen dann später die "aufbereiteten (semantischen)" Daten an Interessierte. Was habe ich, als Webseiten-Betreiber der die Inhalte zur Verfügung stellt denn von dem ganzen Spass ? Momentan sieht es für mich so aus, das MEINE Inhalte gecrawlt werden und später "aufbereitet" zum Verkauf angeboten werden, womit ich grundsätzlich natürlich nicht einverstanden wäre.
Hat jemand dazu eventuell weitere Informationen ? Den Crawler besser aussperren, oder doch nicht ?
Zum Thema passende Beiträge / Antworten sind gern gesehen ...
Gruß
Archiv
