Majestic12 : neuer distributed crawler

[bull]

82.36.78.78 - - [18/Oct/2004:18:30:47 +0200] "GET /robots.txt HTTP/1.1" 200 3053 "-" "MJ12bot/v0.5.0 (https://www.majestic12.co.uk/projects/d ... j12bot.php) run by PeerID=F43AA089D42A3C7610E3778C4E73A95E MemberID=C9403BB515387FBB631AC512950E6F0E" "-"
82.36.78.78 - - [18/Oct/2004:18:30:49 +0200] "GET /odp-gelistet/ HTTP/1.1" 301 241 "-" "MJ12bot/v0.5.0 (https://www.majestic12.co.uk/projects/d ... j12bot.php) run by PeerID=F43AA089D42A3C7610E3778C4E73A95E MemberID=C9403BB515387FBB631AC512950E6F0E" "-"

Erster Datensatz basierte naturgemäß auf dem ODP, inzwischen 36 000 000 URLs gecrawlt, robots.txt konform und unterstützt auch Crawl-Delay. Die Peer-ID ist für jeden Teilnehmer, der sich den Client heruntergeladen hat, verschieden. Mehr auch bei WMW

[fool]

@bull,
ist das jetzt was Gutes oder was Schlechtes?

und bist du da schon total fleißig dabei:

Top users (Today)

2 bull at webmasterworld 150,003 URLs done

????

schönes Wochenende
fool

[bull]

Ja hab mir den Client heruntergeladen und auf einer 2MBit-Leitung laufen lassen, sehr effektiv, gut programmiert, schnelle Bugfixes.
Erste Beta mit Suchfeld soll es Anfang Februar geben. Bin gespannt.

[fool]

@ bull,
dann will ich den majestic mal nicht sperren, damit du was zu crawlen hast

[Fox Mulder]

Ja hab mir den Client heruntergeladen

Gibt`s da irgendeinen Vorteil wenn man da mitmacht, oder spendet man nur seinen Traffic?

Gruss

[UweT]

Seit geraumer Zeit gibt es nun auch den Suchschlitz zum Crawler.
Aus diesem Grund weise ich nochmals ergänzend auf das Projekt hin, in der Hoffnung, dass sich noch ein paar Anhänger für dieses Projekt finden.

Es ist alle mal besser als die deutschen Ableger wie suma-lab.de von suma-ev.de oder dem vom BUND geförderten Projekt smartweb

Projekt: https://www.majestic12.co.uk/
Suchschlitz: https://majestic12.kicks-ass.org:8888/
Download des Clients: https://www.majestic12.co.uk/projects/d ... wnload.php

Gruß
tbone.