Robots Disallow und Links

[steuergorilla]

Hallo Forum!

Frage: Wenn ich Unterseiten per robots.txt sperre, werden dann die Seiten gar nicht von Google betrachtet oder werden sie zwar betrachtet (und es werden auch Links interne/externe weiterverfolgt) und nur nicht indexiert?

Danke,
Jan

[Malte Landwehr]

Wenn die Seite nicht indiziert aber die Links verfolgt werden sollen, nimm diesen Meta-Tag:

Code: Alles auswählen

<meta name="robots" content="noindex,follow" />

[steuergorilla]

Hihi, danke für deine Antwort - genau diese Empfehlung hatte ich ausgesprochen. Aber im weiteren Verlauf bin ich dann ins Grübeln gekommen, ob ein Robots.txt Eintrag nun das Crawling unterbindet oder nur die Indexierung .... Das wäre eine wichtige Information für mich (ggf. ist der Weg über Seitenindividuelle Metatags nicht gangbar) ....

[steuergorilla]

Hat hierzu nicht noch jemand eine Anregung?