Was ist falsch an der robots.txt ?

[klonschaf]

guten tag zusammen!

ich wollte eine Seite vom crawlen auschliessen. Nähmlich den/das Disclaimer.

Meine robots.txt sieht so aus:

User-agent: *
Disallow:

Impressum | Disclaimer: https://www.xyz.com/disclaimer/

jedoch habe ich nun bemerkt, dass Google die Seite auch durchsucht und in den suchergebnissen anzeigt!

was habe ich falsch gemacht?

danke schonmal für antworten!

mfg

[doncorleone]

sachs ihm direkt:

User-agent: Googlebot
Disallow: /Impressum/
Disallow: /Disclaimer/

User-agent: *
Disallow: /Impressum/
Disallow: /Disclaimer/

[klonschaf]

ok, vielen dank!

hab sie jetzt mal so geändert.
mal sehen ob es funktioniert...!

[SISTRIX]

Code: Alles auswählen

User-agent: *
Disallow: /disclaimer