Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Was ist falsch an der robots.txt ?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
klonschaf
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 05.03.2008, 18:26

Beitrag von klonschaf » 09.03.2008, 12:49

guten tag zusammen!

ich wollte eine Seite vom crawlen auschliessen. Nähmlich den/das Disclaimer.

Meine robots.txt sieht so aus:
User-agent: *
Disallow:

Impressum | Disclaimer: https://www.xyz.com/disclaimer/
jedoch habe ich nun bemerkt, dass Google die Seite auch durchsucht und in den suchergebnissen anzeigt!

was habe ich falsch gemacht?

danke schonmal für antworten!

mfg