Wie der dup.Content-Filter wirklich (???) funktioniert

[SloMo]

Tja, jetzt müssen wir einmal elementarste Begriffsklärungen machen:

Ein Hashwert einer Datei ändert sich drastisch, wenn sich nur ein einziges Byte der Datei ändert. Das ist ideal, wenn die Datei bsp. komprimiert (MP3 komprimiert auch) ist, da ein geändertes Byte die Datei meistens zerstört.

Richtig, Martin Ice meinte Checksummen. Man könnte zu jeder Seite eine Art Fingerabdruck bestehend aus den Checksummen markanter Bereiche erzeugen. Ähnliche Fingerabdrücke würden dann auf einen DC hindeuten.

Die Erzeugung und der Vergleich solcher Checksummen lassen sehr viel Spielraum. Was z.B. wäre ein markanter Bereich. Ab wann wäre eine Seite ähnlich genug, um aus dem Index entfernt zu werden?

Wahrscheinlich ist es eine Kombination aus verschiedenen Verfahren, unter anderem auch Keywordmengen-Vergleich und Checksummen.

[lrosen]

... eine Kombination aus verschiedenen Verfahren, unter anderem auch Keywordmengen-Vergleich und Checksummen.

Meinetwegen. Irgendwas Genaueres zu "unter anderem" ?

[fredde]

Die These war so unlogisch, dass ich sie lange Zeit nicht verstanden habe

Herangezogen werden in #1 -wie hier schon erwähnt- nur Onpage-Kriterien, das ist völlig absurd. Vielleicht gibt es hier ja tatsächlich Leute, die den Text kopieren in der Hoffnung, dann auch topgelistet zu sein Auch würde massive Rechenleistung gefordert werden. Der DC hingegen wird alle paar Monate berechnet und erkannt.