Majestic12 : neuer distributed crawler

Beitrag von **bull** » 07.01.2005, 23:38

82.36.78.78 - - [18/Oct/2004:18:30:47 +0200] "GET /robots.txt HTTP/1.1" 200 3053 "-" "MJ12bot/v0.5.0 (https://www.majestic12.co.uk/projects/d ... j12bot.php) run by PeerID=F43AA089D42A3C7610E3778C4E73A95E MemberID=C9403BB515387FBB631AC512950E6F0E" "-"
82.36.78.78 - - [18/Oct/2004:18:30:49 +0200] "GET /odp-gelistet/ HTTP/1.1" 301 241 "-" "MJ12bot/v0.5.0 (https://www.majestic12.co.uk/projects/d ... j12bot.php) run by PeerID=F43AA089D42A3C7610E3778C4E73A95E MemberID=C9403BB515387FBB631AC512950E6F0E" "-"

Erster Datensatz basierte naturgemäß auf dem ODP, inzwischen 36 000 000 URLs gecrawlt, robots.txt konform und unterstützt auch Crawl-Delay. Die Peer-ID ist für jeden Teilnehmer, der sich den Client heruntergeladen hat, verschieden. Mehr auch bei WMW

von **Anzeige von ABAKUS** »

Beitrag von **fool** » 08.01.2005, 16:05

@bull,
ist das jetzt was Gutes oder was Schlechtes?

und bist du da schon total fleißig dabei:

Top users (Today)

2 bull at webmasterworld 150,003 URLs done

????

schönes Wochenende
fool

Beitrag von **bull** » 08.01.2005, 17:14

Ja hab mir den Client heruntergeladen und auf einer 2MBit-Leitung laufen lassen, sehr effektiv, gut programmiert, schnelle Bugfixes.
Erste Beta mit Suchfeld soll es Anfang Februar geben. Bin gespannt.

Beitrag von **fool** » 08.01.2005, 21:36

@ bull,
dann will ich den majestic mal nicht sperren, damit du was zu crawlen hast

Beitrag von **Fox Mulder** » 09.01.2005, 13:17

bull hat geschrieben:Ja hab mir den Client heruntergeladen

Gibt`s da irgendeinen Vorteil wenn man da mitmacht, oder spendet man nur seinen Traffic?

Gruss

Beitrag von **UweT** » 31.07.2005, 19:15

Seit geraumer Zeit gibt es nun auch den Suchschlitz zum Crawler.
Aus diesem Grund weise ich nochmals ergänzend auf das Projekt hin, in der Hoffnung, dass sich noch ein paar Anhänger für dieses Projekt finden.

Es ist alle mal besser als die deutschen Ableger wie suma-lab.de von suma-ev.de oder dem vom BUND geförderten Projekt smartweb

Projekt: https://www.majestic12.co.uk/
Suchschlitz: https://majestic12.kicks-ass.org:8888/
Download des Clients: https://www.majestic12.co.uk/projects/d ... wnload.php

Gruß
tbone.