Inhalt vor Crowler verstecken

[Liza]

Hallo Community,

ich hab da ein Problem. Ich müsste gewisse Inhalte von einer Unterseite für den Crowler nicht sichtbar machen, da ich ansonsten Douplicate Content habe.

Hat da irgendjemand eine Idee? Ganze Seiten kann man verstecken, aber ich hab nichts für den spezifischen Inhalt gefunden.

Bitte bitte um eure Hilfe

LG Liza

[seonewbie]

Hallo Liza,

das geht mit der robots.txt. Das ist einfach eine Datei die Du in das Root Verzeichnis
deiner Domain legst.

Schau mal hier: https://support.google.com/webmasters/b ... wer=156449

Wichtig ist nur das Du Google separat ansprichst also wie im Beispiel:

User-agent: *
Disallow: /ordner1/

User-Agent: Googlebot
Disallow: /ordner2/

Gruß

Micha

[Liza]

Hi Micha,

danke vielmals für deine Antwort.

Kann man mit robots.txt aber nicht nur ganze Seiten verstecken? Konkret bräuchte ich das um 3 Boxen auf einer Website vor dem Crowler zu verstecken.

Viele Grüße
Liza

[quote="seonewbie"]Hallo Liza,

das geht mit der robots.txt. Das ist einfach eine Datei die Du in das Root Verzeichnis
deiner Domain legst.

Schau mal hier: https://support.google.com/webmasters/b ... wer=156449

Wichtig ist nur das Du Google separat ansprichst also wie im Beispiel:

User-agent: *
Disallow: /ordner1/

User-Agent: Googlebot
Disallow: /ordner2/

Gruß

Micha[/quote]