ABAKUS

Guten Tag,

Ich habe ein Projekt in Goole, beidem schon Teile des Projektes gespidert sind.

Das Projekt enthällt sehr viele dynamische Links, die ich gerne mit Mod-rewrite in statische Seiten umwandeln würde.

Doch wenn ich jetzt die Seite umwandeln lasse und neu verlinke, bleiben ja die alten Links noch erhalten und mein Domain fliegt wegen doppeltem Inhalt raus.

Wie muss ich denn die robots.txt einstellen, dass alle dynamischen Seiten für jeden Bot gesperrt sind?

Wie kann ich vermeiden, dass die Seite einmal mit www und einmal ohne www gespidert wird?

Die Fragen wurden sicher schon oft gestellt, doch ich habe Sie nicht gefunden.

Danke

Advertiseman hat geschrieben:Das Projekt enthällt sehr viele dynamische Links, die ich gerne mit Mod-rewrite in statische Seiten umwandeln würde.

Doch wenn ich jetzt die Seite umwandeln lasse und neu verlinke, bleiben ja die alten Links noch erhalten und mein Domain fliegt wegen doppeltem Inhalt raus.

Jaja, und Onanieren macht blind. Sorry, musste ich mal loswerden, die Angst vor doppeltem Inhalt nimmt in diesem Board schon geradewegs panische Züge an :)

Wie muss ich denn die robots.txt einstellen, dass alle dynamischen Seiten für jeden Bot gesperrt sind?

Gar nicht. Du möchtest die alten URLs auf die neuen weiterleiten. Dann wissen auch die Suchmaschinen, dass da was umgezogen ist. Pass' aber auf, dass Du keine Endlosschleife produzierst bei dem Versuch, alte URLs extern auf neue URLs umzuleiten und neue URLs intern in alte umzuschreiben.

Wie kann ich vermeiden, dass die Seite einmal mit www und einmal ohne www gespidert wird?

Indem Du alles, was mit der unerwünschten Domain aufgerufen wird, auf die erwünschte umleitest oder, ganz radikal, die unerwünschte Domain außer Betrieb nimmst. Letzteres ist allerdings etwas ungeschickt, da einige Besucher grundsätzlich der Meinung sind, "Internetadressen" fangen mit wehwehwehpunkt an, andere wiederum sich diese meist überflüssigen vier Zeichen sparen.

Du lässt Dir also entweder von Deinem Hoster für www.bla.bla und bla.bla zwei separate Hosts einrichten, bei dem mit der unerwünschten Domain mit der Anweisung

Redirect permanent / https://bla.bla/

in der Konfiguration / .htaccess, oder, falls Dein Hoster damit überfordert ist, teilst dem Apache in der obersten .htaccess folgendes mit:

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_HOST} ^www\.bla\.bla$
RewriteRule .* https://bla.bla/$1 [R=301,L]

(Hat beides zum Ergebnis, dass alles was unter www.bla.bla/irgendwas aufgerufen wird, standepede nach bla.bla/irgendwas umgeleitet wird.)