Ich habe ein Projekt bei dem ich IP-bezogene Informationen über Domains sammel. Die ganzen Daten stelle ich dann IP-bezogen als Katalog dar. Man kann sich dann durch die einzelnen IPs klicken.
Nun zu meinem Problem ...
Ich habe festgestellt, dass die bereits indexierten Seiten in der Regel mindestens über 70% Textanteil außerhalb des Menüs haben. Darauf hin habe ich meine Domain nach diesem Textanteil untersucht und festgestellt, dass von meinen über 20mio Seiten gerade einmal 8,3 Mio Seiten diese Anforderung erfüllen.
Das sind aber noch immer 16x mehr als im ich im Google-Index habe ...