Guten Morgen.
Ich habe per robots.txt einige Textdateien (bsp.: berlin.txt), welche im ordner "textdateien" sind, ausgeschlossen, damit diese nicht in den Suchresultaten erscheinen. Das habe ich folgendermassen gemacht:
User-agent: *
Disallow: /ordner/textdateien/
Ich möchte nicht, dass diese Datein in den Serps angezeigt werden, da es sein könnte das sie als doppelten kontent gewertet werden. Leider habe ich nun gesehen, dass diese dateien trotz allem in den suchresultaten erschienen sind. wie geht beispielsweise google mit solchen dateien um? wie werden .*txt-Files gewertet und wie kann ich diese per robots.txt ausschliessen?
danke.
Archiv