Doppelten Content vermeiden ( Mod Rewrite )

[Kali]

Hallo,
ich setze Mod Rewrite für sprechende URLs auf meiner Seite ein ( diese ist noch nicht veröffentlicht ). Jetzt habe ich vor kurzem mit einem Auto-Downloader mal alle Seiten meines Angebots runtergeladen und der ist doch auf URLs mit Paramtern gestoßen. Frage: Ist es sinnvoll über die Robots.txt URLs mit Paramtern zu sperren? Wenn ja, indexiert aber Google mein Forum nicht... Wie bekomm ich das am einfachsten hin?

Noch eine kleine Frage: Mein CMS kann aus den Texten PDFs und Druckversionen automatisch erzeugen. Damit generiere ich mir aber auch Doppelten Content. Erkennt Google das inzwischen, dass das keine Contenvermehrung, sondern ein Service ist?

[chrizz]

Hallo,
Noch eine kleine Frage: Mein CMS kann aus den Texten PDFs und Druckversionen automatisch erzeugen. Damit generiere ich mir aber auch Doppelten Content. Erkennt Google das inzwischen, dass das keine Contenvermehrung, sondern ein Service ist?

ich würde es nicht drauf ankommen lassen das Google zu überlassen? Warum verlinkst du es nicht mit nofollow und gibt Druckversion und PDF ein noindex? Das wäre das sicherste

[HaraldHil]

Frage: Ist es sinnvoll über die Robots.txt URLs mit Paramtern zu sperren?

Nein.

[Kali]

Warum verlinkst du es nicht mit nofollow und gibt Druckversion und PDF ein noindex?

Kann ich das Noindex per Robots.txt einstellen? Wenn ja, wie?

Frage: Ist es sinnvoll über die Robots.txt URLs mit Paramtern zu sperren?

Nein.

Erklärung?

[HaraldHil]

a) Noindex per Meta Robots.
b) Nein, da sonst diese Seiten nicht indiziert werden.

[Mamboo]

Es sei den, dein pdf generator liegt in einer extra Verzeichnis?
Wenn ja, dann wie folgt:

Disallow: /pdf/ (pdf mit eigene Verzeichnisname ergänzen)

[HaraldHil]

Es sei den, dein pdf generator liegt in einer extra Verzeichnis?
Wenn ja, dann wie folgt:
Disallow: /pdf/ (pdf mit eigene Verzeichnisname ergänzen)

Naja, bei Vorliegen einer Verlinkung (intern oder extern) wird ohne "nofollow" und ohne "noindex" trotzdem indiziert - oder?

[Kali]

Hmm so einfach mit dem Directory wirds nicht. Gibts nen Robots-Befehl um *.pdf auszuschließen?

[chrizz]

in der htaccess:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex, follow"
</Files>

[HaraldHil]

wäre

Header set X-Robots-Tag "noindex, no follow"

nicht besser?

[Mamboo]

wäre
Header set X-Robots-Tag "noindex, no follow"
nicht besser?

Zur Sicherheit sollte man beides machen.

[Kali]

Ok Danke soweit. Gibt es neben der PDF-Sperrung auch die Option alles auf ".../drucken.html" zu sperren?