robots.txt erstellen

Hi Leute,

hab mal ne komplette Anfängerfrage

In einem meiner CMS habe ich mehrere Domains gelagert.
Jetzt stell ich grad bei Google fest, dass dieser die URLs kräftig vermischt.

Um dem entgegen zu wirken, hatte ich überlegt die robots.txt für die eine Domain abzuändern. Allerdings weiß ich ehrlich gesagt nicht wie. Schließlich ist es ja kein Ordner den ich aussperren kann.

Gibts da trotzdem ne Möglichkeit?

LG, Lika

PS: hier noch die Domains, die z. B. vermischt werden
https://150-gute-taten.de/bookatone/bands/

Eigentlich gibt es nur 150-gute-taten.de und bookatone.de, aber nicht diese Kombi.

Lika hat geschrieben:In einem meiner CMS habe ich mehrere Domains gelagert.

Verstehe ich jetzt nicht richtig. Wenn Du mehrere Domains hast, warum benutzt Du dann nicht für jede Domain ein CMS, nachdem die Domains richtig aufgeteilt wurden?

Die Aufteilung der Domains auf das für jede Domain angelegte Verzeichnis erfolgt doch dann durch die Einrichtung von virtuellen Hosts oder per 301 Weiterleitungen in der htaccess.

https://httpsd.apache.org/docs/2.2/de/vhosts/

Derartige Schleichpfade sollte ein Bot dann nicht mehr finden, insofern diese nicht versehentlich verlinkt wurden. Aufgeteilt hast Du die Domains ja schon, sonst wären die ja nicht einzeln erreichbar. Nur wo kommen diese Verweise her? Werden die vom CMS produziert?

Lika hat geschrieben:Schließlich ist es ja kein Ordner den ich aussperren kann.

Doch, kannst Du und zwar kannst Du in der robots.txt von Domain A das Verzeichnis von Domain B mit Disallow: /verzeichnis-b/ ausschließen und in der robots.txt von Domain B das Verzeichnis von Domain A mit Disallow: /verzeichnis-a/. Nur die robots.txt ist kein Allheilmittel und richtig eingerichtet sollte schon alles sein, bevor du das machst, damit kein Schaden entsteht.

Hi Melegrian,

tja ein CMS für mehrere Domains wurde damals aus kostentechnischen Gründen gemacht. War wohl ne doofe Idee.

Ich gehe davon aus, dass diese komischen Verweise von CMS erstellt werden, weil es keine direkten Links gibt und auch die Sitemap ist sauber. Ansonsten könnte es ja nur Google selbst sein, aber woher sollte Google wissen, dass diese Seiten zusammen gehören, bzw. bei einer Person sind?

Also würdest du mir eher empfehlen in der htaccess Weiterleitungen einzurichten, statt die robots.txt zu nehmen?

LG, Lika