Unterverzeichnisse und robots.txt

[marc77]

Hallo,

ich würde gerne mit der robots.txt alles was nach dem Verzeichnis

/en/

kommt ausschließen. Wenn ich aber

User-agent: *
Disallow: /en/

schreibe, wird ja /en/ auch ausgeschloßen..ich möchte aber, dass /en/ bleibt und nur alles was danach kommt aussgeschloßen wird. Es ist zuviel um es einzeln auszuschließen. Das Meta Tag noindex möchte ich nicht verwenden sondern die robots.txt verwenden..falls das geht?

[Malte Landwehr]

Hast du schon das hier versucht?

Code: Alles auswählen

User-agent: *
Disallow: /en/a
Disallow: /en/b
...
Disallow: /en/y
Disallow: /en/z
Disallow: /en/0
Disallow: /en/1
...
Disallow: /en/8
Disallow: /en/9

Keine Gewähr! Habe ich noch nie einsetzen müssen.

[marc77]

Hallo Malte,

hab ich noch nicht...ich dachte es geht einfacher anstatt alle Buchstaben und Wörter. Geht vielleicht auch

/en/*

?

[barracuda]

Bei dem Codebeispiel von Malte hast Du das Problem, dass Du auch alle Dateien sperrst, die mit einem Buchstaben oder einer Zahl beginnen, was ja immer der Fall sein wird.

Ich denke, die einzige Variante ist:

Code: Alles auswählen

Disallow: en/*/

Dabei ist der abschließende Slash entscheidend.
So könntest Du ja auch auf einen Schlag die Nachfolge Struktur aussperren.

Code: Alles auswählen

Disallow: en/*/*/
Disallow: en/*/*/*/

[Mork vom Ork]

Disallow: /en/a
Disallow: /en/b
...
Disallow: /en/y
Disallow: /en/z

ich dachte es geht einfacher anstatt alle Buchstaben und Wörter.

Du musst nicht alle Wörter ausschließen, da liegt doch gerade der Witz in seinem Vorschlag.

Die Angaben in der robots.txt werden nur so weit verglichen, wie sie lang sind; das bedeutet, dass die Angabe /a alles ausschließt, was mit /a beginnt: /a genauso wie /abraham, /albern, /affe, /aber/auch/dies usw.
Du hättest also im Grunde maximal 26 Buchstaben plus 10 Ziffern, macht 36 Disallow-Zeilen. Das lässt sich doch verschmerzen.

[barracuda]

Damit würdest Du aber auch alle Dateien die mit "a" anfangen ausschließen.