Robots von einer Datei aussperren wegen DC

Beitrag von **Yuri** » 03.09.2008, 18:12

Hallo Leute,

ich habe eben bemerkt, dass Google sowohl domain.com also auch domain.com/index indexiert hat. Es handelt sich also um den klassischen Duplicate Content.

Wie kann ich nun google und andere Bots von der /index datei ausbinden, ohne ihn für die domain.ltd Datei zu sperren?

Werden auch domain.ltd/test und domain.ltd/test.php also DC erkannt, oder ist das gefahrlos?

Was sind die Folgen für DC? Komme ich in einen Filter oder werde ich besser gerankt, wenn der DC nicht mehr vorhanden ist?

Beste Grüße

Yuri

von **Anzeige von ABAKUS** »

Beitrag von **dellaseo** » 03.09.2008, 18:42

das solltest du in deiner .htaccess machen. Deine index.html(php?) auf deine Hauptdomain leiten.

Beitrag von **Yuri** » 03.09.2008, 18:47

Ich weiß vllt eine blöde frage, aber kannst du mir kurz den code geben, wie ich das machen kann?

von **Anzeige von ABAKUS** »

Beitrag von **Mork vom Ork** » 03.09.2008, 19:58

index.xy-Killer komplett mitsamt Weiterleitung von www.example.com nach example.com für den Apache:

In /.htaccess:

Code: Alles auswählen

RewriteEngine on
RewriteBase /

RewriteCond %&#123;THE_REQUEST&#125; "^&#91;A-Z&#93;+ &#40;.*/&#41;index&#40;\.&#91;a-z0-9&#93;+&#41;*\s+HTTP/1\."
RewriteRule . http&#58;//example.com%1 &#91;R=301,L&#93;

RewriteCond %&#123;HTTP_HOST&#125; ^www\.example\.com$
RewriteRule &#40;.*&#41; http&#58;//example.com/$1 &#91;L,R=301&#93;

Der erste Block schaltet mod_rewrite ein. Der zweite Block ist verantwortlich dafür, dass Anfragen für einen Pfad, der mit index.irgendwas aufhört, an den jeweiligen Verzeichnispfad unter example.com umgeleitet werden (gilt auch für Unterverzeichnisse). Im dritten wird schlussendlich geprüft, ob wir es mit www.example.com zu tun haben, und falls ja, wird nach example.com weitergeleitet (funktioniert natürlich auch mit example.com -> www.example.com, dazu müssen nur Muster und Ziel entsprechend geändert werden).

Der Grund dafür, dass die index-Prüfung vor der www-Prüfung erfolgt, liegt einfach darin, dass wir uns im Falle von www.example.com/index.html eine Weiterleitung sparen. Würde die www-Prüfung erst erfolgen, würden wir zuerst nach example.com/index.html weterleiten, nur um dann nochmals eine Weiterleitung nach example.com/ auszugeben.

Was sind die Folgen für DC? Komme ich in einen Filter oder werde ich besser gerankt, wenn der DC nicht mehr vorhanden ist?

Weder noch. Wegen zwei Seiten gleichen Inhalts ist noch niemand aus einem Index geflogen, schon gar nicht im Falle einer Standardkonfiguration, die in dieser Art zigmillionen Mal im Web vorkommt.

Beitrag von **Yuri** » 03.09.2008, 20:12

Wie verhält sich das mit den Dateiendungen? Stellen die eine Gefahr da?

Wenn ich den Quelltext in die haccess Datei eingebe, habe ich keine Zugriff auf meine Seite. Woran kann das liegen?

Beitrag von **Mork vom Ork** » 04.09.2008, 09:12

Yuri hat geschrieben:Wie verhält sich das mit den Dateiendungen? Stellen die eine Gefahr da?

Inwiefern? Meinst du, falls eine Seite sowohl unter /seite als auch unter /seite.html erreichbar ist? Falls dieser Umstand vom Server automatisch gehandhabt wird, gibt er einen entsprechenden Hinweis auf die tatsächliche URL in seiner Antwort (Content-Location). Es kann also keiner behaupten, man würde schummeln.

Wenn ich den Quelltext in die haccess-Datei eingebe, habe ich keine Zugriff auf meine Seite. Woran kann das liegen?

Das steht im Fehlerprotokoll deines Servers, in etwa so: „[Thu Sep 04 09:57:40 2008] [alert] [client 1.2.3.4] /srv/www/bla.fasel/htdocs/.htaccess: RewriteCond: bad flag delimiters“. Konkret könnte man aber auch sagen, dass das an meiner Schlampigkeit liegt, denn ich hatte den Abschnitt noch etwas geändert, dabei die Anführungszeichen um das RewriteCond-Muster vergessen und das Ergebnis vorm Absenden nicht geprüft.

Der Code ist jetzt korrigiert, ein wenig verbessert - und hat diesmal auch den TÜV bestanden.

Beitrag von **Yuri** » 04.09.2008, 09:49

Gleich mal testen und einbauen. Perfekt, ex funktioniert. Danke dir.