C0ntent-Rank, der intelligente Nachfolger des PageRank

Hallo Abakus-Gemeinde!

Ich bin seit längerem am Tüfteln und Erarbeiten eines Algorithmus, -der die Themenrelevanz von Backlinks berücksichtigt. Ich vermute sehr stark, das Google diesen Algo schon seit längerem (wenn vielleicht auch ausgefeilter) benutzt. Ich habe hier mehr dazu geschrieben. Kurz zusammengefasst funktioniert der Algorithmus in etwa so:

1. Ermittlung aller Backlinks der betreffenden Seite.
2. Einteilung der Seite in ein bestimmtes, nicht zu feingranulares Themenumfeld. Z.B. „Reisen“, „Finanzen“, etc.
3. Analyse aller Backlinks, die dem selben Themenumfeld entspringen.
4. Bilden des Mittelwertes aus allen C-Ranks themengleicher Backlinks.

Bis jetzt läuft dieses Projekt sehr erfolgreich, alleine die Crawling-Geschwindigkeit lässt zu wünschen übrig. Über verschiedene Proxy-Tricks ist es mir mit mittels Yahoo-API auch möglich, mehr als 5000 Requests pro Tag zu abzufragen, auch wenn ich einsehe, dass das nicht die schönste Möglichkeit ist. Die Content-Analyse basiert momentan u.a. auch auf einer dmoz.org - Abfrage (laaaangsam!)

Was ich mir davon erhoffe:
1) Genaue Auskunft über den C-Rank (CR) um Seiten ähnlich wie Google besser bewerten zu können.
2) Ich möchte Content-Authorities ermitteln um optimale Linkpartner zu finden.
3) Ich möchte versuchen, so zu denken, wie Google denkt, um mich zukunftsweisendere Faktoren, als z.B. den PR, verlassen zu können.

Dieses CR-Projekt ist größtenteils in Python geschrieben und bereitet mir momentan sehr viel Freude! (Auch, weil Python einfach Spaß macht ).

Doch bevor ich weiter "draufloshacke", habe ich ein paar Fragen:

- Was haltet Ihr von dieser Idee/diesem Projekt?
- Hat jemand Lust, daran mitzuwirken, mit zu programmieren?
- Hat irgendwer gute Ideen, wie ich mit meinen begrenzten Ressourcen schnellere Crawling-Geschwindigkeiten hinbekommen kann, bzw. die Content-Analyse verbessern kann?
- Hat irgend jemand hier die Möglichkeit sehr große Mengen Backlinks, schnell und unbegrenzt abzufragen, oder gar in einer DB vorhanden?

Ich danke Euch ganz herzlich für Eure Kritik und Anregung!

Greetz,

Ohara

"..Ermittlung aller Backlinks der betreffenden Seite..."
Viel Spaß bei Domains mit 50 000 Seiten...

"schnellere Crawling-Geschwindigkeiten..."
Rechenzentren zulegen, vergleichbar mit Google, so einige zehn tausend Rechner..

"..Hat irgend jemand hier die Möglichkeit sehr große Mengen Backlinks,
schnell und unbegrenzt abzufragen, oder gar in einer DB vorhanden ?..."

Jeder Zweite SEO hier im Forum hat ein komplettes Google-Backup,
auch Google greift manchmal auf diese Reserven zu
(bei den nur ca. 20 000 000 000 indizierten Webseiten - Kinderspiel...)

"Content-Analyse..."
Mehr als ein Wortzählen und durch die Häufigkeit bestimmter Wörter das Thema ermitteln,
mehr ist nach dem heutigem Stand der Technik nicht drin.
Vom z.B. Sinnerfassen (Semantik) einer Webseite ist die heutige Technik genauso weit entfernt,
wie eine Kuh vom Gewinnen eines Schönheitswettbewerbs, trotz des vielen TAM TAM der Programmierer.

Um ähnliche Ziele wie Google zu verfolgen, Google sogar in gewisser Hinsicht übertreffen,
z.B. beim Beurteilen der Qualität einer Webseite, muss man auch technisch und/oder personell
mit Google und Co gleichauf sein. Ein PC zu Hause (z.B. ein Athlon FX... mit 6 - 50 Gigaherz )
reicht nicht aus. Auch ein doppelt so schneller Server im Internet reicht nicht aus.


"..5000 Requests pro Tag..."
Hast du eine gute Idee gehabt, spricht sich das herum, hast du locker das Zehnfache am Tag...
Müßtest also spätestens hier selbst spidern. Willst / musst du aber Seiten selbst spidern,
kommst du nicht an alle Seiten heran, da Webmaster dich u.U. per .htaccess aussperren,
weil sie dich nicht kennen oder haben wollen.

Idee (von der Grundidee her) ist gut, aber allein nicht zu realisieren.
Allein das Datenaufkommen, Beurteilen usw.

Weiter:
Nach welchen Kriterien willst du "Qualität" beurteilen ?
Bestenfalls nach den eigenen Maßstäben. Wer sagt dass diese neutral genug sind ?
Wer sagt, dass die eigenen Maßstäbe gut "ausgebildet" sind, also nicht einseitig geprägt ?
Hier spielt auch der "Geschmack" eine Rolle.

P.S.
DMOZ ist ein gutes Beispiel dafür wo Gute Seiten UND Schrott nebeneinander stehen.

Hi Ohara, ich finde auch, dass die Grundidee gut ist.

Kannst ja ein CPU-Sharing programmieren bzw. wiederverwenden oder die DB-Resourcen über DB-Cluster von anderen Rechnern nutzen. Allein wird ein PC oder werden deine PC's nicht all zu weit kommen. Da du parsen musst, brauchst du auch vernünftige Leitungen um die Datenmengen zu übertragen.

Viel Erfolg
Uwe

P.S.: Halt uns auf dem Laufenden.