ABAKUS

gruber99 hat geschrieben:kann man in der robots.txt mehrere URLS angeben
z.B.:
Disallow: www.doamin.DE/admin/

Nein.

ich habe nämlich drei domains .de, .at und .ch auf einem project.
Um jetzt dublicate content zu verhindern will ich, dass die suchmaschinen (also google), seiten mit doppelten inhalt auf den einzenelnen domainen NICHT (de, at und/oder ch) spidert.

Wenn Du alle drei Domains aus demselben Verzeichnis lieferst, dann hast Du auch den gesamten Inhalt dreimal im Netz stehen. So gesehen verstehe ich nicht, warum Du nur einzelne Verzeichnisse sperren willst. Andersrum ist mir nicht klar, warum Du überhaupt auf die eigenständige Existenz der drei Domains bestehst, wenn Du sowieso zwei der drei nicht in den Suchmaschinen haben willst.

Und auf jeder Domain unterschiedliche Verzeichnisse zu sperren halte ich für etwas unklug, denn Du schöpfst das Potential der Seiten nicht aus, wenn Du den Schweizern über Suchmaschinen nur die Kochrezepte präsentierst, den Österreichern nur die Backrezepte und den Deutschen nur den Nachtisch. Ich behaupte einfach mal, damit verlierst Du mehr Besucher als mit dem Ammenmärchen vom doppelten Inhalt.

Aber sei es drum:
Du kannst mittels RewriteCond auch Regeln basierend auf der angefragten Domain erstellen. Geschickt angestellt könnte das in etwa so aussehen:

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_HOST} \.example\.(de|at|ch)$
RewriteRule ^robots\.txt$ robots_%1.txt

(Nicht ausprobiert.)

Mittels RewriteCond wird erstmal abgefragt, ob die Domain einer der drei gegebenen entspricht. So dem so ist und die robots.txt gewünscht wurde, bastelt RewriteRule anhand der Länderdomain eine interne Weiterleitung an die jeweilige robots.txt (robots_de.txt, robots_at.txt, robots_ch.txt; das %1 steht für den Inhalt der ersten Klammer im vorangegangenen RewriteCond), in der Du dann die gewünschten Vorgaben machen kannst.