Mehrere Domains, ein Webspace, mehrere robots.txt??

[polk]

Hallo!

Ich habe mehrere Domains auf meinem Webspace:

www.gewerbe-portal.net
www.branchen-portal.net
www.automobil-portal.net
www.bilder-portal.net


ALLE diese Domains verlinken auf Unterordner auf meinem Webpace, z.B. https://www.haendler-portal.net/gewerbe-portal

In diesem Ordner ist eine Eingangsseite - unterschiedlich für die Suchmaschinen optimiert - welche auf die Domain www.haendler-portal.net (im Hauptordner) verweist.


Meine Frage: Muss ich in jedem Unterordner eine robots.txt Datei erstellen, wenn ich möchte, das ALLES gespidert wird? Oder reicht eine robots.txt im Hauptverzeichnis, auch wenn der Googlebot über die Unterverzeichnisse ins Hauptverzeichnis gelangt?

[pi-de]

Die gelisteten Domains sind ja eigentlich nur Doorwaypages, oder?

Von daher würde es reichen eine robots.txt auf deiner Hauptdomain
im Root abzulegen. In Unterordnern bringt es nichts, da nur die
domain.de/robots.txt gelesen wird.

[polk]

Ja, so kann man das sehen!
Aber wenn jetzt die Suchmaschine z.B. die www.gewerbe-portal.net Seite scannt, dann fängt sie ja im Unterordner an zu spidern. Woher weiß Sie dann, dass es im Hauptverzeichnis weiter geht?

[pi-de]

Weil robots.txt 's nur im Hauptverzeichnis gesucht werden und nie in Unterverzeichnissen.