[Anfänger] robots.txt und mehrere Domains?

Beitrag von **gurken** » 24.02.2012, 13:29

Ich habe mehrere Domains mit gleichem Webspace z.B.

domain1.com geht nach /domain1/
domain2.com geht nach /domain2/

Nun habe ich jeweils in /domain1 und /domain2 eine robots.txt (überhaupt richtig?)

Dann habe ich noch eine Domain für interne Zwecke welche direkt auf das Rootverzeichnis geht ./ - hier möchte ich nun einen Order machen /intern/ und darauf mit domainintern/intern/ zugreifen - dieses Verzeichnis soll aber nicht mit Google gefunden werden. Muss ich einfach eine robots.txt in den Rootordner legen und den Unterordner /intern/ disalowen?

Verstehe ich es richtig das es mehrere robots.txt geben kann und die jeweils darüber liegende robots.txt hat die höhere Priorität? - Sprich wenn ich im root den ordner /domain1/ disalow wird die robots.txt in /domain1/ nicht berücksichtig da ja nicht weitergegangen wird?

von **Anzeige von ABAKUS** »

Beitrag von **net(t)worker** » 24.02.2012, 14:00

es wird immer nur die /robots.txt beachtet, du verwechselst das wahrscheinlich mit der .htaccess die vom Webserver bearbeitet wird, hier kann in jedem Ordner eine liegen und die überschreiben sich dann gegenseitig...

deine domain für interne Dinge solltest du direkt auf den Unterordner /intern legen und nicht aufs verzeichnisroot...

Beitrag von **gurken** » 24.02.2012, 15:07

das geht leider nicht da die interne Domain gleichzeitig die Hauptdomain ist und immer auf das Rootverzichnis zeigt -> kann nicht geändert werden.

In meinem Fall müsste also die robots.txt im root liegen und dann das Unterverzeichnis /intern/ disalown?

Für die anderen 2 Domains hab ich es aber richtig gemacht?

Beitrag von **net(t)worker** » 24.02.2012, 15:37

regurge hat geschrieben:das geht leider nicht da die interne Domain gleichzeitig die Hauptdomain ist und immer auf das Rootverzichnis zeigt -> kann nicht geändert werden.

klar kann das geändert werden... zur Not durch einen Hosterwechsel.... wenn ein Hoster meint das zusätzliche domains oder subdomains auch gleichzeitig immer über eine andere domain erreichbar sein müssen, sollten die sich nicht wundern wenn die Kunden weggehen...

Beitrag von **Melegrian** » 24.02.2012, 16:18

regurge hat geschrieben:Ich habe mehrere Domains mit gleichem Webspace z.B.

domain1.com geht nach /domain1/
domain2.com geht nach /domain2/

Nun habe ich jeweils in /domain1 und /domain2 eine robots.txt (überhaupt richtig?)

Wie wird was aufgerufen?

domain1.com geht nach /domain1/index.html
domain2.com geht nach /domain2/index.html

Ladet beim Aufruf von domain1.com die index.html und im Browser wird nur domain1.com angezeigt und beim Aufruf von domain2.com halt die index.html von domain2.com und im Browser wird nur domain2.com angezeigt? Und mit Domain-intern das gleiche Spiel?

Es gibt immer nur eine robots.txt und diese liegt im Root, wobei mit Root aber das Hauptverzeichnis der Domain gemeint ist. Ein Bot, der domain2.com aufruft, sieht die robots.txt von domain1.com und von Domain-intern nicht, wenn das richtig eingerichtet ist. Also bei domain2.com steigt der nicht über root/domain2/ ein sondern über / und der Server liefert index.html aus. Diesen Teil root/domain2 vor / sieht der Bot nicht beim Aufruf von domain2.com.

Somit legst Du im Root von jeder Domain eine robots.txt nur für diese Domain ab, vermutlich hast Du das richtig gemacht. Du kannst im Root von Domain-intern eine robots.txt mit

User-agent: *
Disallow: /domain1/
Disallow: /domain1/

ablegen, was für den Bot nur so viel bedeutet, dass er diese beiden Verzeichnisse von Domain-intern unberücksichtigt lassen möchte. Ein Bot, der über Domain1.com oder Domain2.com einsteigt, sieht diese beiden Verzeichnisse aber nicht, sondern hält die für das jeweilige Hauptverzeichnis / der jeweiligen Domain. Viel wichtiger ist, dass Du nicht versehentlich einen Link von Domain-intern nach Domain1.com in dieser Art setzt: domain-intern.com/domain1/intern.html, in dem Fall hätte der Bot einen verfolgbaren Querverweis.

Beitrag von **gurken** » 25.02.2012, 12:03

Melegrian hat geschrieben:""

danke für die tolle Antwort, ich glaube alles verstanden zu haben