Seiten Ausschliessen - Unterseiten nicht ausschliessen

Beitrag von **zbfin** » 18.11.2008, 12:31

Hallo miteinander

Ich habe mir gestern ein robots.txt angelegt um duplicated content zu verhindern. Nun habe ich nur noch ein Problem.

Ich möchte die seite(verzeichnis) www.domain.com/topics ausschliessen weil dies der gleiche inhalt wie die startseite ist(duplicated content).

Die Seite /topics/ueber_uns sollte aber wiederum nicht ausgeschlossen werden

Wenn ich nun
Disallow: /topics
ins robots.txt schreibe ist zwar /topics nicht mehr spiderbar. Dafür aber auch alle Unterseiten nicht mehr.

Gibt es da eine Möglichkeit das zu umgehen?

Vielen Dank
ZBFIN

von **Anzeige von ABAKUS** »

Beitrag von **Anonymous** » 18.11.2008, 12:53

Beitrag von **zbfin** » 18.11.2008, 15:18

Danke für deinen Input.

Deine Lösung ist mir bekannt. Geht aber in diesem Beispiel schlecht.Wenn ich domain.com aufrufe wird automatisch auf /topics weitergeleitet. Die Applikation ist mit ruby on rails programmiert und /topics is mein start controller. Deine Lösung würde dazu führen das die gesamte startseite nicht mehr indexiert wird.

Wäre nachfolgendes u.U eine möglichkeit?:
Disallow: /topics
Allow: /topics/ueber_uns
Allow: /topics/kontakt
Allow: /topics/faq

Oder geht das nicht wenn ich zu erst generell ausschliesse und dann selektiv wieder erlaube?
Danke, Gruss

von **Anzeige von ABAKUS** »

Beitrag von **Mork vom Ork** » 19.11.2008, 16:00

zbfin hat geschrieben:Wenn ich domain.com aufrufe wird automatisch auf /topics weitergeleitet.

Solche Startseitenverbiegungen sind für sich genommen schon ein denkbar schlechter, weil nutzloser Ansatz. Lässt sich das nicht so ändern, dass deine Startseite da liegt, wo sie jeder erwartet, unter /?

Davon abgesehen: Wenn / nach /topics weiterleitet und du /topics ausschließt, hast du für Suchmaschinen in gewisser Hinsicht gar keine Startseite mehr, denn / existiert nicht (da Weiterleitung) und /topics darf nicht ausgelesen werden.

Wäre nachfolgendes u.U eine möglichkeit?:
Disallow: /topics
Allow: /topics/ueber_uns
Allow: /topics/kontakt
Allow: /topics/faq

Oder geht das nicht wenn ich zu erst generell ausschliesse und dann selektiv wieder erlaube?

Zum selektiven Erlauben ist Allow gedacht. Möchtest du allerdings, dass das mit allen Suchmaschinen funktioniert, solltest du dich an die allumfassende robots.txt-Regel halten, die da besagt, dass der erste passende Eintrag gilt. Für /topics/ueber_uns wäre in deiner Version der erste passende Eintrag „Disallow: topics“, es gilt somit Disallow. Die Allow-Zeilen gehören deshalb immer vor die zu umgehende Disallow-Zeile:

Allow: /topics/ueber_uns
Allow: /topics/kontakt
Allow: /topics/faq
Disallow: /topics

Jetzt ist der erste passende Eintrag für die drei erwünschten URLs eine der Allow-Zeilen und für alle anderen die Disallow-Zeile.

Bleibt allerdings nach wie vor das Problem, dass du aus Robotsicht keine Startseite hast, von der aus man sich weiterhangeln könnte. Dazu musst du schon auf die vorgeschlagene <meta>-Angabe mit follow setzen.

Beitrag von **minivip** » 24.07.2010, 10:30

die variante mit dem allow funktioniert

du kannst auch eine 302 weiterleitung von der index zur topics generieren, dann dürfte die index in den google index gehen

das canonical tag passend eingesetzt würde dem googlebot auch klar machen wer hier vorrang hat

Beitrag von **Sunny flowers** » 11.01.2011, 04:41

haha，
it's good
Ich habe mir gestern ein robots.txt angelegt um duplicated content zu verhindern. Nun habe ich nur noch ein Problem.