2 Domains - 1 Robots.txt - Wie eine Domain blocken?

Beitrag von **tbecker** » 08.11.2007, 10:10

Hallo Leute,

über Typo3 habe ich Seiten für Deutschland und Österreich. Da die Seiten noch kurzfristig den gleichen Inhalt aufweisen, möchte ich die .at-Seiten per robots.txt sperren.

Leider darf man in die robots.txt keine ganzen URLs packen, sondern nur Verzeichnisse.

Könnte man per Htaccess die domain.at/robots.txt auf domain.at/robots_test.txt weiterleiten? Wenn ja, wie?

Andere Idee?

von **Anzeige von ABAKUS** »

Beitrag von **catcat** » 08.11.2007, 10:20

Per htaccess:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^deine domain\.at$ [NC]
RewriteCond %{HTTP_HOST} ^www.deine domain\.at$ [NC]
RewriteRule ^(.*)$ https://deine domain.de/$1 [R=301,L]

So wird deine .at domain auf die .de Domain umgeleitet.

Wenn Du nur den bots sagen willst, das sie deine .at Domain nicht crawlen sollen dann per robots.txt:

User-agent: *
Disallow: /*

...oder so.

Beitrag von **tbecker** » 08.11.2007, 10:26

Das ist mir klar. Aus einigen Gründen MUSS die AT Seite aber bestehen bleiben. Wird auch bald anders gelöst.

Ich will nur die AT Seite vor der Google Indexierung schützen.

von **Anzeige von ABAKUS** »

Beitrag von **chrizz** » 08.11.2007, 10:35

robots noindex. Sollte eigentlich mit Typo machbar sein.

Cheers

Beitrag von **WilliWusel** » 08.11.2007, 10:55

tbecker hat geschrieben:Ich will nur die AT Seite vor der Google Indexierung schützen.

Auf der at-Domain in der robots.txt:

User-agent: *
Disallow: /

und/oder im Kopf jeder einzelnen Datei:

<meta name="robots" content="noindex, nofollow, noarchive">

Beitrag von **tbecker** » 08.11.2007, 11:14

Die DE und AT Domain weisen auf das gleiche Verzeichnis. Wie der Inhalt der Robots.txt sein muss, ist mir schon klar

Nur wenn ich Disallow: / rein schreibe, bezieht sich das auch auf die .DE

Das mit dem Kopf und Typo3 muss die Agentur lösen. Leider ist die zurzeit etwas langsam...

Folglich brauche ich nur eine Weiterleitung von der domain.AT/robots.txt auf einer weitere andere robots.txt

Nur wie diese aussehen könnte, weiß ich nicht

Beitrag von **WilliWusel** » 08.11.2007, 13:30

Mach halt einen 301 redirect von domain.at auf domain.de, damit sollte das Problem erledigt sein.

Beitrag von **tbecker** » 08.11.2007, 14:54

Rede ich Chinesisch?

Wenn ich die AT auf DE leiten könnte, hätte ich das längst gemacht. Es MÜSSEN aber beide Seiten laufen!!!!!!!!!!!!!!!

Was ich brauche:
Eine Weiterleitung für domain.AT/robots.txt, die nicht für domain.DE/robots.txt gilt.

Nochmal: Die Domains verweisen auf 1 Verzeichnis! Dadurch EINE htaccess und nur EINE robots.txt

Beitrag von **faris** » 08.11.2007, 15:54

erstelle die robots doch dynamisch, z.b. per php. dann ein bisschen mod rewrite (robots.php -> robots.txt) und im script $_SERVER['HTTP-HOST'] checken

oder per mod rewite/rewrite_cond den host checken und auf jeweilige robots_de/at.txt zeigen

Beitrag von **tbecker** » 08.11.2007, 16:02

@faris

genau sowas suche ich. habe nur null plan wie ich das umsetzen kann. soll einfach und schnell gehen

Beitrag von **Anonymous** » 08.11.2007, 16:40

wenn du mod_rewrite einsetzen kannst, kannste einfach eine condition angeben die auf die at domain matcht und dort leiteste in der rule den aufruf der robots.txt auf robots.txt.at weiter... und scho haste für beide domains ne eigene robots.txt...

Beitrag von **tbecker** » 08.11.2007, 16:59

klar kann ich mod_rewrite nutzen, aber irgendwie bekomme ich das nicht zum laufen. meine idee war:

RewriteCond %{HTTP_REFERER} ^www\.domain\.at/robots.txt$
RewriteRule ^(.*)$ https://www.domain.at/robots_at.txt$1 [L,R=301]

Beitrag von **Anonymous** » 08.11.2007, 17:32

versuch mal so....

RewriteCond %{HTTP_HOST} ^www\.domain\.at$
RewriteRule ^robots.txt robots_at.txt [L]

Beitrag von **tbecker** » 09.11.2007, 08:58

@ net(t)worker

You made my day!

Gracias