Folgendes Problem: ich habe einen Webspace den ich vorrangig unter aaa.de betreibe. Hier habe ich nun ebenfalls ein Wordpress-Projekt installiert, dass nun, nach Fertigstellung aber unter bbb.de läuft.
Nun hat Google bereits die Inhalte von aaa.de/worpress/ indiziert.
Um DC zu vermeiden wollte ich das Verzeichnis "/wordpress/" gerade über die Webmaster-Tools aus Google verbannen, bekam aber den Hinweis, dass das Verzeichnis dafür auch via robots.txt geblockt sein muss.
Wie kann ich nun erreichen, dass das Verzeichnis nun auf aaa.de geblockt wird, unter bbb.de jedoch nicht? Absolute URL angeben? Oder im Verzeichnis "/wordpress/" einfach die Blockade wieder per FOLLOW aufheben?
Wenn du unter aaa.de/robots.txt das Verzeichnis /wordpress/ blogst bekommt Google davon doch nichts mit, wenn es bbb.de aufruft. Dann dafür wäre bbb.de/robots.txt (alos aaa.de/wordpress/robots.txt) zuständig.
Also, einfach /wordpress/ in der robots.txt unter aaa.de/robots.txt sperren und du sonst nichts tu. Dann hast du genau was du möchtest.
Wobei ich das für total bescheuert halte. Mache lieber eine Struktur /websites/aaa_de/ und /websites/bbb_de/. So produzierst du nur einen Haufen Probleme.
Und in Zukunft kannste den Ordner, den Du zum testen/einrichten benutzt, mit ner .htaccess und .htpasswd Sperre vor dem bösen googlebot beschützen.
Dann haste keinen Ärger.