Seite 1 von 1

Was ist falsch an der robots.txt ?

Verfasst: 09.03.2008, 12:49
von klonschaf
guten tag zusammen!

ich wollte eine Seite vom crawlen auschliessen. Nähmlich den/das Disclaimer.

Meine robots.txt sieht so aus:
User-agent: *
Disallow:

Impressum | Disclaimer: https://www.xyz.com/disclaimer/
jedoch habe ich nun bemerkt, dass Google die Seite auch durchsucht und in den suchergebnissen anzeigt!

was habe ich falsch gemacht?

danke schonmal für antworten!

mfg

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Verfasst: 09.03.2008, 12:52
von doncorleone
sachs ihm direkt:

User-agent: Googlebot
Disallow: /Impressum/
Disallow: /Disclaimer/

User-agent: *
Disallow: /Impressum/
Disallow: /Disclaimer/

Verfasst: 09.03.2008, 15:17
von klonschaf
ok, vielen dank!

hab sie jetzt mal so geändert.
mal sehen ob es funktioniert...!

Verfasst: 09.03.2008, 15:34
von SISTRIX

Code: Alles auswählen

User-agent: *
Disallow: /disclaimer