Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

MIA-Bot der TU-Berlin

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten

MIA-Bot aussperren oder crawlen lassen ?

aussperren
2
50%
crawlen lassen
2
50%
 
Insgesamt abgegebene Stimmen: 4

PhpAss
PostRank 1
PostRank 1
Beiträge: 15
Registriert: 10.02.2011, 14:21

Beitrag von PhpAss » 20.12.2012, 09:35

Morgen !

Seit einigen Tagen geistert ein Crawler der "Technischen Universität Berlin" auf einem Projekt von mir herum und macht nun doch schon einiges an Traffic aus. Kennt vielleicht jemand diesen Crawler, bzw. sollte ich diesen besser aussperren ?

Folgende Informationen dazu konnte ich recherchieren:

Bot-Name / Version: MIA DEV/search:robot/0.0.1
Bot-Beschreibung: MIA Bot for research project MIA
Bot-Projekt: www.MIA-marktplatz.de
Crawler: https://www.neofonie.de/spider - bzw. https://spider.neofonie.de

Hier noch ein Video mit einigen Hintergründen zum Projekt:
https://www.digital-zeitschrift.de/media ... alk&id=329

So wie ich das verstehe, crawlen die "angeblich" das gesamte Web und verkaufen dann später die "aufbereiteten (semantischen)" Daten an Interessierte. Was habe ich, als Webseiten-Betreiber der die Inhalte zur Verfügung stellt denn von dem ganzen Spass ? Momentan sieht es für mich so aus, das MEINE Inhalte gecrawlt werden und später "aufbereitet" zum Verkauf angeboten werden, womit ich grundsätzlich natürlich nicht einverstanden wäre.

Hat jemand dazu eventuell weitere Informationen ? Den Crawler besser aussperren, oder doch nicht ?

Zum Thema passende Beiträge / Antworten sind gern gesehen ...

Gruß

elmex
PostRank 9
PostRank 9
Beiträge: 1009
Registriert: 03.05.2005, 09:09

Beitrag von elmex » 20.12.2012, 12:53

Ich habe mal analysiert, was das Ding so treibt auf meinen Seiten, gefällt mir nicht!

Der saugt mir in viel zu schneller Zeit (anscheinend ohne Delay) zu viele Seiten, hat zwar Querabfragen auf die robots.txt gemacht aber zumindest in einem Fall sich nicht dran gehalten.

Werde es weiter beobachten und ggf. ins bottrap setzen, danke für den Hinweis @PhpAss!

Wer mittlerweile alles mit den daten anderer Geld machen will :o

Rem
PostRank 10
PostRank 10
Beiträge: 3786
Registriert: 08.12.2005, 18:45

Beitrag von Rem » 22.12.2012, 10:46

Steht ja in gut Deutsch auf mia-marktplatz.de:

"Ein besonderes Merkmal des Projekts ist es, dass das deutschsprachige Internet inklusive seiner Historie als Datenbasis für Analysen und Mehrwertdienste bereitgestellt werden soll."

Sie klauen Deine Inhalte, um sie dann kostenpflichtig weiterzuverkaufen.

elmex
PostRank 9
PostRank 9
Beiträge: 1009
Registriert: 03.05.2005, 09:09

Beitrag von elmex » 22.12.2012, 18:28

Also, wer Bot-Trap nutzt, der Bot ist dort bereits seit Februar oder so ausgesperrt...

Es scheint also definitiv besser, den zu bannen ;)

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag