Unterverzeichnisse und robots.txt

Beitrag von **marc77** » 27.04.2010, 23:06

Hallo,

ich würde gerne mit der robots.txt alles was nach dem Verzeichnis

/en/

kommt ausschließen. Wenn ich aber

User-agent: *
Disallow: /en/

schreibe, wird ja /en/ auch ausgeschloßen..ich möchte aber, dass /en/ bleibt und nur alles was danach kommt aussgeschloßen wird. Es ist zuviel um es einzeln auszuschließen. Das Meta Tag noindex möchte ich nicht verwenden sondern die robots.txt verwenden..falls das geht?

von **Anzeige von ABAKUS** »

Beitrag von **Malte Landwehr** » 28.04.2010, 08:18

Hast du schon das hier versucht?

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /en/a
Disallow&#58; /en/b
...
Disallow&#58; /en/y
Disallow&#58; /en/z
Disallow&#58; /en/0
Disallow&#58; /en/1
...
Disallow&#58; /en/8
Disallow&#58; /en/9

Keine Gewähr! Habe ich noch nie einsetzen müssen.

Beitrag von **marc77** » 28.04.2010, 09:03

Hallo Malte,

hab ich noch nicht...ich dachte es geht einfacher anstatt alle Buchstaben und Wörter. Geht vielleicht auch

/en/*

?

Beitrag von **barracuda** » 29.04.2010, 20:17

Bei dem Codebeispiel von Malte hast Du das Problem, dass Du auch alle Dateien sperrst, die mit einem Buchstaben oder einer Zahl beginnen, was ja immer der Fall sein wird.

Ich denke, die einzige Variante ist:

Code: Alles auswählen

Disallow&#58; en/*/

Dabei ist der abschließende Slash entscheidend.
So könntest Du ja auch auf einen Schlag die Nachfolge Struktur aussperren.

Code: Alles auswählen

Disallow&#58; en/*/*/
Disallow&#58; en/*/*/*/

Beitrag von **Mork vom Ork** » 29.04.2010, 21:48

marc77 hat geschrieben:
Malte hat geschrieben:Disallow: /en/a
Disallow: /en/b
...
Disallow: /en/y
Disallow: /en/z
ich dachte es geht einfacher anstatt alle Buchstaben und Wörter.

Du musst nicht alle Wörter ausschließen, da liegt doch gerade der Witz in seinem Vorschlag.

Die Angaben in der robots.txt werden nur so weit verglichen, wie sie lang sind; das bedeutet, dass die Angabe /a alles ausschließt, was mit /a beginnt: /a genauso wie /abraham, /albern, /affe, /aber/auch/dies usw.
Du hättest also im Grunde maximal 26 Buchstaben plus 10 Ziffern, macht 36 Disallow-Zeilen. Das lässt sich doch verschmerzen.

Beitrag von **barracuda** » 29.04.2010, 21:53

Damit würdest Du aber auch alle Dateien die mit "a" anfangen ausschließen.