Seite 1 von 1

2 Domains - 1 Robots.txt - Wie eine Domain blocken?

Verfasst: 08.11.2007, 10:10
von tbecker
Hallo Leute,

über Typo3 habe ich Seiten für Deutschland und Österreich. Da die Seiten noch kurzfristig den gleichen Inhalt aufweisen, möchte ich die .at-Seiten per robots.txt sperren.

Leider darf man in die robots.txt keine ganzen URLs packen, sondern nur Verzeichnisse.

Könnte man per Htaccess die domain.at/robots.txt auf domain.at/robots_test.txt weiterleiten? Wenn ja, wie?

Andere Idee?

Verfasst:
von

Verfasst: 08.11.2007, 10:20
von catcat
Per htaccess:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^deine domain\.at$ [NC]
RewriteCond %{HTTP_HOST} ^www.deine domain\.at$ [NC]
RewriteRule ^(.*)$ https://deine domain.de/$1 [R=301,L]
So wird deine .at domain auf die .de Domain umgeleitet.

Wenn Du nur den bots sagen willst, das sie deine .at Domain nicht crawlen sollen dann per robots.txt:
User-agent: *
Disallow: /*
...oder so.

Verfasst: 08.11.2007, 10:26
von tbecker
Das ist mir klar. Aus einigen Gründen MUSS die AT Seite aber bestehen bleiben. Wird auch bald anders gelöst.

Ich will nur die AT Seite vor der Google Indexierung schützen.

Verfasst:
von

Verfasst: 08.11.2007, 10:35
von chrizz
robots noindex. Sollte eigentlich mit Typo machbar sein.


Cheers

Verfasst: 08.11.2007, 10:55
von WilliWusel
tbecker hat geschrieben:Ich will nur die AT Seite vor der Google Indexierung schützen.
Auf der at-Domain in der robots.txt:

User-agent: *
Disallow: /

und/oder im Kopf jeder einzelnen Datei:

<meta name="robots" content="noindex, nofollow, noarchive">

Verfasst: 08.11.2007, 11:14
von tbecker
Die DE und AT Domain weisen auf das gleiche Verzeichnis. Wie der Inhalt der Robots.txt sein muss, ist mir schon klar :wink:

Nur wenn ich Disallow: / rein schreibe, bezieht sich das auch auf die .DE

Das mit dem Kopf und Typo3 muss die Agentur lösen. Leider ist die zurzeit etwas langsam...

Folglich brauche ich nur eine Weiterleitung von der domain.AT/robots.txt auf einer weitere andere robots.txt

Nur wie diese aussehen könnte, weiß ich nicht :lol:

Verfasst: 08.11.2007, 13:30
von WilliWusel
Mach halt einen 301 redirect von domain.at auf domain.de, damit sollte das Problem erledigt sein. :wink:

Verfasst: 08.11.2007, 14:54
von tbecker
Rede ich Chinesisch? :roll: :lol:

Wenn ich die AT auf DE leiten könnte, hätte ich das längst gemacht. Es MÜSSEN aber beide Seiten laufen!!!!!!!!!!!!!!!

Was ich brauche:
Eine Weiterleitung für domain.AT/robots.txt, die nicht für domain.DE/robots.txt gilt.

Nochmal: Die Domains verweisen auf 1 Verzeichnis! Dadurch EINE htaccess und nur EINE robots.txt

Verfasst: 08.11.2007, 15:54
von faris
erstelle die robots doch dynamisch, z.b. per php. dann ein bisschen mod rewrite (robots.php -> robots.txt) und im script $_SERVER['HTTP-HOST'] checken

oder per mod rewite/rewrite_cond den host checken und auf jeweilige robots_de/at.txt zeigen

Verfasst: 08.11.2007, 16:02
von tbecker
@faris

genau sowas suche ich. habe nur null plan wie ich das umsetzen kann. soll einfach und schnell gehen :wink:

Verfasst: 08.11.2007, 16:40
von net(t)worker
wenn du mod_rewrite einsetzen kannst, kannste einfach eine condition angeben die auf die at domain matcht und dort leiteste in der rule den aufruf der robots.txt auf robots.txt.at weiter... und scho haste für beide domains ne eigene robots.txt...

Verfasst: 08.11.2007, 16:59
von tbecker
klar kann ich mod_rewrite nutzen, aber irgendwie bekomme ich das nicht zum laufen. meine idee war:
RewriteCond %{HTTP_REFERER} ^www\.domain\.at/robots.txt$
RewriteRule ^(.*)$ https://www.domain.at/robots_at.txt$1 [L,R=301]

Verfasst: 08.11.2007, 17:32
von net(t)worker
versuch mal so....
RewriteCond %{HTTP_HOST} ^www\.domain\.at$
RewriteRule ^robots.txt robots_at.txt [L]

Verfasst: 09.11.2007, 08:58
von tbecker
@ net(t)worker

You made my day!

Gracias