Domain gebannt, IP aber nicht.

Beitrag von **JR-EWING** » 16.05.2006, 14:40

hmm könnte sogar gehen:

Voraussetzung:
Auf
https://domain.de/robots.txt liegt die ganz normale Robots für die Domain

auf
https://domain.de/neue/robots.txt liegt dann die neue mit dem kompletten Ausschluß der Seiten

User-agent: *
Disallow: /

In der HTACCESS muss man folgendes basteln:

Wenn http_host = IP dann https://ip-nummer/robots.txt auf z.B. https://domain.de/test/robots.txt per 301 weiterleiten.

Code: Alles auswählen

RewriteCond %&#123;HTTP_HOST&#125; !^123\.123\.123\.123
RewriteRule ^robots.txt$ 
http&#58;//www.domain.tld/neue_robots/robots.txt &#91;L,R=301&#93;

muss man nochmal genauer drüber schauen - aber ich denke das könnte in die richtige Richtung gehen.

Aber das ist auch wieder durch die Brust ins Auge....

von **Anzeige von ABAKUS** »

Beitrag von **oldInternetUser** » 16.05.2006, 14:49

Ein 301 ist eigentlich genau falsch, weil dann ja weitergeleitet und zweimal aufgerufen wird.

Bei NET gibt es eine Methode Transfer, die - unter der alten Adresse - einfach den Inhalt einer gezielt angegebenen Datei ausgibt (folglich kann die Datei überall liegen). Der abfragende Bot bekommt also keine andere Adresse mit, es ist auch kein Cloaking, weil ein Browser dasselbe kriegen würde.

JR-EWING hat geschrieben:Aber das ist auch wieder durch die Brust ins Auge....

Besser als ein Wegschmeißen der ganzen Domain.

Beitrag von **detrius** » 16.05.2006, 16:58

Hallo nochmal!

danke für Euer Brainstorming. An der Idee mit der Robots.txt könnte was dran sein.

Es stellt sich für mich nur die Frage: hat es einen Effekt auf eine Domain, wenn deren IP ausgeschlossen wird?

Seht Ihr darin mögliche Probleme auf die Domain zukommen?

von **Anzeige von ABAKUS** »

Beitrag von **marc75** » 17.05.2006, 06:57

die robots.txt kann man auch individuell generieren. Siehe WMW dort wird auch immer eine passende robots.txt generiert, statt nach dem UA zu schauen einfach nach dem HTTP_HOST gehen.