Frage zu Robots.txt

Beitrag von **rolbx** » 10.08.2008, 19:10

Hallo,

und zwar möchte ich mittels robots.txt diese Links hier sperren:

/forums/post100060.html oder auch
/forums/post100061.html
...
...

Nur wie sperre ich diese Links alle von Google?

Ich habe das einfach mal mit:
Disallow: /forums/post
gemacht.

Währe das so richtig oder muss ich das anders machen?

von **Anzeige von ABAKUS** »

Beitrag von **Nutzer0815** » 10.08.2008, 19:50

Disallow: /forums/*?post*

Beitrag von **Mork vom Ork** » 11.08.2008, 09:43

rolbx hat geschrieben:/forums/post100060.html oder auch
/forums/post100061.html

Ich habe das einfach mal mit:
Disallow: /forums/post
gemacht.

Wäre das so richtig oder muss ich das anders machen?

Mit /forums/post sperrst du alles, was mit /forums/post anfängt. Das reicht also vollkommen, insbesondere Platzhalter braucht es da nicht. Und /forums/*?post* ist eh völlig verkehrt, weder enthalten deine URLs Fragezeichen, noch soll zwischen /forums/ und post irgendein anderer Text erscheinen.

von **Anzeige von ABAKUS** »

Beitrag von **turgay** » 11.08.2008, 09:58

Wenn Du mit Wildcards arbeiten willst, wie von Nutzer0815 vorgeschlagen, solltest Du den Googlebot auch direkt ansprechen, um sicher zu gehen, dass die Anweisungen angenommen werden.

User-Agent: Googlebot
Disallow: und?so*weiterundsofort

Viele Grüße

Beitrag von **pr_sniper** » 12.08.2008, 08:56

User-agent: *
Disallow: /forums/p

ist die beste Lösung - sie verschleiert gegenüber Schnüfflern zusätzlich deine Struktur ...

Voraussetzung natürlich, dass tatsächlich keine Dateien bzw. Verzeichnisse mit "p" beginnend unter "forums" gelistet werden sollen.