vor kurzem habe ich mein Forum auf kurze Urls umgestellt. Mit Hilfe von Mod_rewrite werden die Urls jetzt anders maskiert z.B. sorgt der Aufruf von thema1.html intern für den Aufruf von Viewtopic.php?t=1.
Doch jetzt zur eigentlichen Frage: Innerhalb des Forums gibt es sehr viele Beiträge, die wiederum auf andere Beiträge im Forum linken. Die Links innerhalb dieser Beiträge verwenden aber noch den alten Aufruf mit viewtopic.php...usw. Wenn Google beim nächsten Mal alle Beiträge indiziert, dann könnte es sein, dass es so scheint, als seien zwei Seiten mit identischem Inhalt auf dem Server, weil die einmal über viewtopic und einmal über thema1.html gespidert werden.
Das könnte doch dazu führen, dass meine Seite gesperrt wird, oder?
Wäre es eine Lösung die viewtopic.php in der Robots.txt zu sperren? Wenn ja, was genau muß ich dann in die Robots.txt eintragen?