Da jetzt wohl auch Yahoo die X-Robots-Tags unterstützt, sollte man
sich wohl mal näher damit beschäftigen. Es bleiben aber wichtige Fragen:
Logischerweise müssen auch Seiten gecrawlt werden, die ein X-Robots-Tag
NOINDEX haben. Werden die Links auf diesen Seiten verfolgt? Vererben sie
PageRank? Verhindert das NOINDEX Duplicate Content?
Archiv
