robots.txt erstellen

Hi Leute,

hab mal ne komplette Anfängerfrage

In einem meiner CMS habe ich mehrere Domains gelagert.
Jetzt stell ich grad bei Google fest, dass dieser die URLs kräftig vermischt.

Um dem entgegen zu wirken, hatte ich überlegt die robots.txt für die eine Domain abzuändern. Allerdings weiß ich ehrlich gesagt nicht wie. Schließlich ist es ja kein Ordner den ich aussperren kann.

Gibts da trotzdem ne Möglichkeit?

LG, Lika

PS: hier noch die Domains, die z. B. vermischt werden
https://150-gute-taten.de/bookatone/bands/

Eigentlich gibt es nur 150-gute-taten.de und bookatone.de, aber nicht diese Kombi.

Lika hat geschrieben:In einem meiner CMS habe ich mehrere Domains gelagert.

Verstehe ich jetzt nicht richtig. Wenn Du mehrere Domains hast, warum benutzt Du dann nicht für jede Domain ein CMS, nachdem die Domains richtig aufgeteilt wurden?

Die Aufteilung der Domains auf das für jede Domain angelegte Verzeichnis erfolgt doch dann durch die Einrichtung von virtuellen Hosts oder per 301 Weiterleitungen in der htaccess.

https://httpsd.apache.org/docs/2.2/de/vhosts/

Derartige Schleichpfade sollte ein Bot dann nicht mehr finden, insofern diese nicht versehentlich verlinkt wurden. Aufgeteilt hast Du die Domains ja schon, sonst wären die ja nicht einzeln erreichbar. Nur wo kommen diese Verweise her? Werden die vom CMS produziert?

Lika hat geschrieben:Schließlich ist es ja kein Ordner den ich aussperren kann.

Doch, kannst Du und zwar kannst Du in der robots.txt von Domain A das Verzeichnis von Domain B mit Disallow: /verzeichnis-b/ ausschließen und in der robots.txt von Domain B das Verzeichnis von Domain A mit Disallow: /verzeichnis-a/. Nur die robots.txt ist kein Allheilmittel und richtig eingerichtet sollte schon alles sein, bevor du das machst, damit kein Schaden entsteht.

Hi Melegrian,

tja ein CMS für mehrere Domains wurde damals aus kostentechnischen Gründen gemacht. War wohl ne doofe Idee.

Ich gehe davon aus, dass diese komischen Verweise von CMS erstellt werden, weil es keine direkten Links gibt und auch die Sitemap ist sauber. Ansonsten könnte es ja nur Google selbst sein, aber woher sollte Google wissen, dass diese Seiten zusammen gehören, bzw. bei einer Person sind?

Also würdest du mir eher empfehlen in der htaccess Weiterleitungen einzurichten, statt die robots.txt zu nehmen?

LG, Lika

Wenn es sich um Webspace bei einem Hoster handelt, bei dem über ein Formular die Domains auf verschieden Verzeichnisse aufgeteilt werden können, würde ich das zuerst probieren. Bei einigen geht, es bei anderen nicht, beim HTTP-Header den Statuscode prüfen. Falls alles in Ordnung, so braucht für jedes Verzeichnis nur noch eine Standard-Domain definiert werden. Wenn es nicht geht, dann halt per htaccess entsprechende Weiterleitungen auf die Verzeichnisse einrichten.

Irgendetwas muss ja bei Dir da aber schon eingerichtet sein, denn die bookatone.de verweist ja erst richtig auf das bookatone-Verzeichnis nur beim Home-Link ist alles wieder für die Katz ….de/bookatone/home/

Du könntest dann in jedem Verzeichnis ein CMS ablegen, nur die müssten dann auf unterschiede Datenbanken zugreifen, wenn Du nicht alle Tabellen umbenennen möchtest.

Ich glaub, ich riskier jetzt erstmal nen Blick in den Webspace und dann schau ich mir mal die htaccess an.

Ich glaub zwar nicht, dass ich als Laie dort was erkenne, aber einen Versuch ist es wert.

Danke Melegrian für die ausführliche Hilfestellung.