Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

MIA-Bot der TU-Berlin

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten

MIA-Bot aussperren oder crawlen lassen ?

aussperren
2
50%
crawlen lassen
2
50%
 
Insgesamt abgegebene Stimmen: 4

PhpAss
PostRank 1
PostRank 1
Beiträge: 15
Registriert: 10.02.2011, 14:21

Beitrag von PhpAss » 20.12.2012, 09:35

Morgen !

Seit einigen Tagen geistert ein Crawler der "Technischen Universität Berlin" auf einem Projekt von mir herum und macht nun doch schon einiges an Traffic aus. Kennt vielleicht jemand diesen Crawler, bzw. sollte ich diesen besser aussperren ?

Folgende Informationen dazu konnte ich recherchieren:

Bot-Name / Version: MIA DEV/search:robot/0.0.1
Bot-Beschreibung: MIA Bot for research project MIA
Bot-Projekt: www.MIA-marktplatz.de
Crawler: https://www.neofonie.de/spider - bzw. https://spider.neofonie.de

Hier noch ein Video mit einigen Hintergründen zum Projekt:
https://www.digital-zeitschrift.de/media ... alk&id=329

So wie ich das verstehe, crawlen die "angeblich" das gesamte Web und verkaufen dann später die "aufbereiteten (semantischen)" Daten an Interessierte. Was habe ich, als Webseiten-Betreiber der die Inhalte zur Verfügung stellt denn von dem ganzen Spass ? Momentan sieht es für mich so aus, das MEINE Inhalte gecrawlt werden und später "aufbereitet" zum Verkauf angeboten werden, womit ich grundsätzlich natürlich nicht einverstanden wäre.

Hat jemand dazu eventuell weitere Informationen ? Den Crawler besser aussperren, oder doch nicht ?

Zum Thema passende Beiträge / Antworten sind gern gesehen ...

Gruß