Doppelter Content - ModRewrite - robots.txt

Beitrag von **wernizh** » 02.02.2005, 10:50

Hallo

Ich habe ein neues Forum. Dieses habe ich nun mit Mod-Rewrite modifiziert, sodass die URLs "schöner" sind.
Nun finde ich bei Google beide Varianten der Seiten. Also. z.B. viewtopic.php?... und die modrewrite Variante mit thema1.html.
D.h. doppelten Content.

Genügt es nun für Google , wenn ich einfach im robots.txt die diversen .php Dateien "disallow" mache?

Gruss, Werner

von **Anzeige von ABAKUS** »

Beitrag von **Garfield** » 02.02.2005, 11:43

Das Thema hatten wir hier eigentlich schon zur Genüge, such mal etwas im Forum.

Du kannst per robots.txt die entsprechenden Dateien sperren. Allerdings tauchen sie dann immer noch ohne Beschreibung im Index auf, siehe zB mein Forum :

https://www.google.de/search?hl=de&q=si ... uche&meta=

Ich finds zwar fürchterlich, 29.600 Seiten im Index zu haben, von denen die wenigsten Content bringen, aber ich glaube, so hab ich wenigstens keinen doppelten Content mehr.

Kannst dir ja meine robots.txt kopieren :

https://www.hottelino.de/robots.txt

Da sind dann gleich noch ein paar Trafficschlampen und unnötige Crawler ausgesperrt.

Beitrag von **Webby** » 02.02.2005, 12:11

Googlebot unterstutzt wildcards.
also..

User-agent:Googlebot
Disallow: /*?

Macht sinn alle dynamische urls von google zu sperren.
Sehe auch https://www.abakus-internet-marketing.d ... 10846.html

Alan