Doppelten Content vermeiden ( Mod Rewrite )

Beitrag von **Kali** » 11.02.2009, 15:38

Hallo,
ich setze Mod Rewrite für sprechende URLs auf meiner Seite ein ( diese ist noch nicht veröffentlicht ). Jetzt habe ich vor kurzem mit einem Auto-Downloader mal alle Seiten meines Angebots runtergeladen und der ist doch auf URLs mit Paramtern gestoßen. Frage: Ist es sinnvoll über die Robots.txt URLs mit Paramtern zu sperren? Wenn ja, indexiert aber Google mein Forum nicht... Wie bekomm ich das am einfachsten hin?

Noch eine kleine Frage: Mein CMS kann aus den Texten PDFs und Druckversionen automatisch erzeugen. Damit generiere ich mir aber auch Doppelten Content. Erkennt Google das inzwischen, dass das keine Contenvermehrung, sondern ein Service ist?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **chrizz** » 12.02.2009, 10:05

Kali hat geschrieben:Hallo,
Noch eine kleine Frage: Mein CMS kann aus den Texten PDFs und Druckversionen automatisch erzeugen. Damit generiere ich mir aber auch Doppelten Content. Erkennt Google das inzwischen, dass das keine Contenvermehrung, sondern ein Service ist?

ich würde es nicht drauf ankommen lassen das Google zu überlassen? Warum verlinkst du es nicht mit nofollow und gibt Druckversion und PDF ein noindex? Das wäre das sicherste

Beitrag von **HaraldHil** » 12.02.2009, 10:09

Frage: Ist es sinnvoll über die Robots.txt URLs mit Paramtern zu sperren?

Nein.

von **Anzeige von ABAKUS** »

Beitrag von **Kali** » 12.02.2009, 11:21

Warum verlinkst du es nicht mit nofollow und gibt Druckversion und PDF ein noindex?

Kann ich das Noindex per Robots.txt einstellen? Wenn ja, wie?

Frage: Ist es sinnvoll über die Robots.txt URLs mit Paramtern zu sperren?

Nein.

Erklärung?

Beitrag von **HaraldHil** » 12.02.2009, 11:36

a) Noindex per Meta Robots.
b) Nein, da sonst diese Seiten nicht indiziert werden.

Beitrag von **Mamboo** » 12.02.2009, 13:41

Es sei den, dein pdf generator liegt in einer extra Verzeichnis?
Wenn ja, dann wie folgt:

Disallow: /pdf/ (pdf mit eigene Verzeichnisname ergänzen)

Beitrag von **HaraldHil** » 12.02.2009, 15:10

Mamboo hat geschrieben:Es sei den, dein pdf generator liegt in einer extra Verzeichnis?
Wenn ja, dann wie folgt:
Disallow: /pdf/ (pdf mit eigene Verzeichnisname ergänzen)

Naja, bei Vorliegen einer Verlinkung (intern oder extern) wird ohne "nofollow" und ohne "noindex" trotzdem indiziert - oder?

Beitrag von **Kali** » 12.02.2009, 15:22

Hmm so einfach mit dem Directory wirds nicht. Gibts nen Robots-Befehl um *.pdf auszuschließen?

Beitrag von **chrizz** » 12.02.2009, 15:34

in der htaccess:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex, follow"
</Files>

Beitrag von **HaraldHil** » 12.02.2009, 15:38

wäre

Header set X-Robots-Tag "noindex, no follow"

nicht besser?

Beitrag von **Mamboo** » 12.02.2009, 16:31

HaraldHil hat geschrieben:wäre
Header set X-Robots-Tag "noindex, no follow"
nicht besser?

Zur Sicherheit sollte man beides machen.

Beitrag von **Kali** » 13.02.2009, 00:00

Ok Danke soweit. Gibt es neben der PDF-Sperrung auch die Option alles auf ".../drucken.html" zu sperren?