2 Domains - 1 Robots.txt - Wie eine Domain blocken?

[tbecker]

Hallo Leute,

über Typo3 habe ich Seiten für Deutschland und Österreich. Da die Seiten noch kurzfristig den gleichen Inhalt aufweisen, möchte ich die .at-Seiten per robots.txt sperren.

Leider darf man in die robots.txt keine ganzen URLs packen, sondern nur Verzeichnisse.

Könnte man per Htaccess die domain.at/robots.txt auf domain.at/robots_test.txt weiterleiten? Wenn ja, wie?

Andere Idee?

[catcat]

Per htaccess:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^deine domain\.at$ [NC]
RewriteCond %{HTTP_HOST} ^www.deine domain\.at$ [NC]
RewriteRule ^(.*)$ https://deine domain.de/$1 [R=301,L]

So wird deine .at domain auf die .de Domain umgeleitet.

Wenn Du nur den bots sagen willst, das sie deine .at Domain nicht crawlen sollen dann per robots.txt:

User-agent: *
Disallow: /*

...oder so.

[tbecker]

Das ist mir klar. Aus einigen Gründen MUSS die AT Seite aber bestehen bleiben. Wird auch bald anders gelöst.

Ich will nur die AT Seite vor der Google Indexierung schützen.

[chrizz]

robots noindex. Sollte eigentlich mit Typo machbar sein.


Cheers

[WilliWusel]

Ich will nur die AT Seite vor der Google Indexierung schützen.

Auf der at-Domain in der robots.txt:

User-agent: *
Disallow: /

und/oder im Kopf jeder einzelnen Datei:

<meta name="robots" content="noindex, nofollow, noarchive">

[tbecker]

Die DE und AT Domain weisen auf das gleiche Verzeichnis. Wie der Inhalt der Robots.txt sein muss, ist mir schon klar

Nur wenn ich Disallow: / rein schreibe, bezieht sich das auch auf die .DE

Das mit dem Kopf und Typo3 muss die Agentur lösen. Leider ist die zurzeit etwas langsam...

Folglich brauche ich nur eine Weiterleitung von der domain.AT/robots.txt auf einer weitere andere robots.txt

Nur wie diese aussehen könnte, weiß ich nicht

[WilliWusel]

Mach halt einen 301 redirect von domain.at auf domain.de, damit sollte das Problem erledigt sein.

[tbecker]

Rede ich Chinesisch?

Wenn ich die AT auf DE leiten könnte, hätte ich das längst gemacht. Es MÜSSEN aber beide Seiten laufen!!!!!!!!!!!!!!!

Was ich brauche:
Eine Weiterleitung für domain.AT/robots.txt, die nicht für domain.DE/robots.txt gilt.

Nochmal: Die Domains verweisen auf 1 Verzeichnis! Dadurch EINE htaccess und nur EINE robots.txt

[faris]

erstelle die robots doch dynamisch, z.b. per php. dann ein bisschen mod rewrite (robots.php -> robots.txt) und im script $_SERVER['HTTP-HOST'] checken

oder per mod rewite/rewrite_cond den host checken und auf jeweilige robots_de/at.txt zeigen

[tbecker]

@faris

genau sowas suche ich. habe nur null plan wie ich das umsetzen kann. soll einfach und schnell gehen

[Anonymous]

wenn du mod_rewrite einsetzen kannst, kannste einfach eine condition angeben die auf die at domain matcht und dort leiteste in der rule den aufruf der robots.txt auf robots.txt.at weiter... und scho haste für beide domains ne eigene robots.txt...

[tbecker]

klar kann ich mod_rewrite nutzen, aber irgendwie bekomme ich das nicht zum laufen. meine idee war:

RewriteCond %{HTTP_REFERER} ^www\.domain\.at/robots.txt$
RewriteRule ^(.*)$ https://www.domain.at/robots_at.txt$1 [L,R=301]

[Anonymous]

versuch mal so....

RewriteCond %{HTTP_HOST} ^www\.domain\.at$
RewriteRule ^robots.txt robots_at.txt [L]

[tbecker]

@ net(t)worker

You made my day!

Gracias