ABAKUS

Lika hat geschrieben:In einem meiner CMS habe ich mehrere Domains gelagert.

Verstehe ich jetzt nicht richtig. Wenn Du mehrere Domains hast, warum benutzt Du dann nicht für jede Domain ein CMS, nachdem die Domains richtig aufgeteilt wurden?

Die Aufteilung der Domains auf das für jede Domain angelegte Verzeichnis erfolgt doch dann durch die Einrichtung von virtuellen Hosts oder per 301 Weiterleitungen in der htaccess.

https://httpsd.apache.org/docs/2.2/de/vhosts/

Derartige Schleichpfade sollte ein Bot dann nicht mehr finden, insofern diese nicht versehentlich verlinkt wurden. Aufgeteilt hast Du die Domains ja schon, sonst wären die ja nicht einzeln erreichbar. Nur wo kommen diese Verweise her? Werden die vom CMS produziert?

Lika hat geschrieben:Schließlich ist es ja kein Ordner den ich aussperren kann.

Doch, kannst Du und zwar kannst Du in der robots.txt von Domain A das Verzeichnis von Domain B mit Disallow: /verzeichnis-b/ ausschließen und in der robots.txt von Domain B das Verzeichnis von Domain A mit Disallow: /verzeichnis-a/. Nur die robots.txt ist kein Allheilmittel und richtig eingerichtet sollte schon alles sein, bevor du das machst, damit kein Schaden entsteht.

Hi Melegrian,

tja ein CMS für mehrere Domains wurde damals aus kostentechnischen Gründen gemacht. War wohl ne doofe Idee.

Ich gehe davon aus, dass diese komischen Verweise von CMS erstellt werden, weil es keine direkten Links gibt und auch die Sitemap ist sauber. Ansonsten könnte es ja nur Google selbst sein, aber woher sollte Google wissen, dass diese Seiten zusammen gehören, bzw. bei einer Person sind?

Also würdest du mir eher empfehlen in der htaccess Weiterleitungen einzurichten, statt die robots.txt zu nehmen?

LG, Lika