Robots Disallow und Links

Beitrag von **steuergorilla** » 11.07.2008, 14:25

Hallo Forum!

Frage: Wenn ich Unterseiten per robots.txt sperre, werden dann die Seiten gar nicht von Google betrachtet oder werden sie zwar betrachtet (und es werden auch Links interne/externe weiterverfolgt) und nur nicht indexiert?

Danke,
Jan

von **Anzeige von ABAKUS** »

Beitrag von **Malte Landwehr** » 11.07.2008, 14:29

Wenn die Seite nicht indiziert aber die Links verfolgt werden sollen, nimm diesen Meta-Tag:

Code: Alles auswählen

<meta name="robots" content="noindex,follow" />

Beitrag von **steuergorilla** » 11.07.2008, 14:34

Hihi, danke für deine Antwort - genau diese Empfehlung hatte ich ausgesprochen. Aber im weiteren Verlauf bin ich dann ins Grübeln gekommen, ob ein Robots.txt Eintrag nun das Crawling unterbindet oder nur die Indexierung .... Das wäre eine wichtige Information für mich (ggf. ist der Weg über Seitenindividuelle Metatags nicht gangbar) ....

von **Anzeige von ABAKUS** »

Beitrag von **steuergorilla** » 15.07.2008, 16:01

Hat hierzu nicht noch jemand eine Anregung?