distributed crawling ?

Beitrag von **dirk** » 04.05.2004, 07:40

Hi,

gibts eigentlich noch mehr projekte ala grub.org ? Finde das eigentlich ziemlich genial, was die sich da haben einfallen lassen !

von **Anzeige von ABAKUS** »

Beitrag von **manute** » 08.05.2004, 17:55

echt ne geile sache, hab ich grad zum ersten mal gesehen, vielen dank für den link dirk.
aber eins hab ich nach ner halben stunde lesen nicht gefunden: wer nutzt die daten heute schon und kann ich sie auch selbst für ne kleine, eigene suma nutzen? kennt sich vielleicht jemand schon besser damit aus?

Beitrag von **manute** » 08.05.2004, 22:50

so jetzt hab ich mir das mal etwas genauer angesehen und bin enttäuscht

ich kann keine eigenen seite zum crawlen eintragen und sehe im grub-forum beiträge mit genau dem gleichen problem, die 1 jahr alt sind! -> schrott!

Beitrag von **Rankseeker** » 10.05.2004, 17:04

manute @

ich kann keine eigenen seite zum crawlen eintragen und sehe im grub-forum beiträge mit genau dem gleichen problem, die 1 jahr alt sind! -> schrott!

Klar kannst Du deine eigenen Seiten zum crawlen eintragen. Zuerst musst Du die Funktion "enable local crawling fpr this client" in den preferences aktivieren.
Bitte vorher das Textfile grub.txt downloaden und in jede root deiner domains einspielen... dorthin wo robots.txt ist.

Anschliessen kannst Du alle deine Seiten im Memberbereich eintragen.
Lass den Grub über Nacht laufen und Deine Seiten sind alle im Index.

Ist eine gute Sache... bin schon über ein Jahr dabei.

Gruss

Beitrag von **manute** » 10.05.2004, 17:48

das hab ich schon so gemacht, aber es hat stundenlang nicht funktioniert. mittlerweile geht es aber doch, keine ahnung warum.
ich gucks mir noch etwas länger an, mal sehen, aber so begeistert bin ich davon nicht mehr.

Beitrag von **axelm** » 14.02.2005, 14:55

Die Daten werden im Moment von Looksmart.com benutzt.
Seit kurzem haben die dafür wohl auch ein bissel Hardware abgestellt und tauchen selber als Team in den Stats auf.

Ich habe den Client seit ca. 1 Jahr laufen und merke, dass die Anzahl der Client immer weniger wird (ca. 550 im Moment vor 6-12 Monaten waren es noch 2000)

Wer noch nen Rechner rumstehen hat sollte sich das Ding mal installieren.

Seit dem Update auf den neuen Client finde ich keine Einstellung mehr um das local crwaling zu aktivieren. Macht der das jetzt automatisch wenn man seine Sites eingetragen hat und die grub.txt abgelegt hat?

Beitrag von **axelm** » 14.02.2006, 10:12

Grub.org ist tot, es lebe distributed crawling!

Aufmerksame Logifle leser werden es schon bemerkt haben, es gibt was neues:
https://www.majestic12.co.uk/
der Java Client für Windows macht einen ganz vernünftigen Eindruck.

Da die Rechner meistens eh an sind, kann man das mal laufen lassen.
Jeder User der sich einen Account anlegt bekommt eine Profil Seite mit einem Backlink.

Beitrag von **bull** » 14.02.2006, 11:14

Siehe auch
https://www.abakus-internet-marketing.d ... 10499.html
wo der Kollege tbone78 ebenfalls viel Positives konstatierte.

Gruß
bull