richtige verwendung von robots.txt

[laura_ch]

hallo liebe abakus user,

gerne erlaube ich mir ein frage zur richtigen verwendung von robots.txt

ich habe auf einem webspace mehrere projekte laufen - die robots.txt ist das gleiche file für alle projekte.

nun möchte ich ein projekt davon mit topdomain und ein projekt welches auf einer subdomain läuft komplett sperren lassen. bei der subdomain soll das hauptprojekt auf der hauptdomain nach wie vor gelesen etc. werden.

habe ich eine chance für jedes projekt ein eigenes robots.txt zu erstellen?

oder wäre eine solche verwendund korrekt:

User-agent: *
Disallow: /projekt1subdomain/ (ordner mit den files der subdomain)
Disallow: /projekt2/ (ordner mit files von hauptdomain die gesperrt werden müssten)

danke für eure hilfe und liebe grüsse
laura

[harakiri]

leg für jede Domain ne eigene robots.txt an, dann passts!

[laura_ch]

Hoi Harakiri,

Danke - und wie mache ich das? Danke!

[harakiri]

Du schreibst deine robtots.txt wie du oben beschrieben hast, jedoch als Pfad nimmst Du die Ordner innerhalb der Domain.

Dann speicherst Du diese unter www.domain.de/robots.txt


Fertig!

[laura_ch]

vielen dank! dabei spielt es keine rolle auf welchen top-level domains die jeweiligen seiten ind den unterordnern laufen?

[Mork vom Ork]

dabei spielt es keine rolle auf welchen top-level domains die jeweiligen seiten ind den unterordnern laufen?

Robots rufen die robots.txt unter example.com/robots.txt ab. Wo der Server diese Datei herholt, ist seine Sache, es interessiert die Robots nicht und sie bekommen es auch nicht mit. Du musst die Sache also von außen sehen, nicht von innen.

Wenn:

https://domain1.example.com/ -> /projekt1subdomain/
https://domain2.example.com/ -> /projekt2/

dann gilt:

https://domain1.example.com/robots.txt -> /projekt1subdomain/robots.txt
https://domain2.example.com/robots.txt -> /projekt2/robots.txt

[laura_ch]

vielen dank! grüsse

[altraz]

huhu!
Dazu hab ich auch eine Frage... Wenn ich jetzt ein Projekt auf dem Server habe, und mit 2 anderen Domains auf genau dieses Projekt "permanent redirecte".... was ist dann mit der robots.txt?

[chrizz]

da du 2 Domains umleitetest, ist die robots nur von deiner 3. Domai aus zu erreichen. Da reicht also eine robots.txt

[Mork vom Ork]

Wenn ich jetzt ein Projekt auf dem Server habe, und mit 2 anderen Domains auf genau dieses Projekt "permanent redirecte".... was ist dann mit der robots.txt?

Das kommt darauf an, was du weiterleitest.

Wenn du von Domain 2 pauschal nach Domain 1 weiterleitest, wird auch bei Abruf von domain2/robots.txt nach domain1/robots.txt umgeleitet. Wie Bots damit umgehen, weiß ich nicht, es gäbe zwei Möglichkeiten:
1. Der Bot nimmt die Inhalte von domain1/robots.txt und bezieht sie auf die Pfade unter Domain 2. Hast du unterschiedliche Pfade unter Domain 1 und Domain 2, wäre so eine Weiterleitung sehr unschlau.
2. Der Bot ignoriert die Weiterleitung und benimmt sich, als wenn für Domain 2 keine robots.txt existieren würde.

Wenn du hingegen die robots.txt von der Weiterleitung ausnimmst, kannst du für Domain 1 und Domain 2 eigene robots.txt anlegen, die unabhängig voneinander, jede für ihre jeweilige Domain agieren.