ABAKUS

https://www.google.com/support/webmaste ... wer=164734

Google erklärt es dir sicher besser als ich, darum versuche ich es erst gar nicht.
Alles was ich dazu sagen kann ist, wenn du etwas in der robots machst muss es Google auch erst wieder crawlen damit er es überhaupt mitbekommt.

Wenn du es jedoch für Google sperrst kann Google wohl schlecht zwei eigenständige installationen/webseiten daraus ziehen, darf es ja nicht mehr. Wegen den Links, Google weis so oder so ob es die Seite gibt, mit und ohne Backlinks, er wird es nur nicht indixieren.

OK.
Die Links die auf die Unterordnerinstallation von anderen Webseiten verweisen...
Sie gehen in den Root des Unterordners...da ist auch eine Robot.txt drin...

Finde ich schön.
Weis nicht viel anzufangen mit der Antwort aber ich versuche es mal (Wo ist die Frage?)

Also, das es garnicht gecrawlt wird geht glaub ich nicht. Wenn er im Unterordner liest das er nicht hier sein darf, ist er ja schon dort
Er ignoriert es dann einfach und es wird nicht indixiert. Google kommt aber trozdem immer wieder nachschauen. Crawlen und indixieren ist ja nicht ganz das gleiche.

Oder willst du wissen ob die Robots.txt in auf den root/hauptverzeichnis soll oder in den Unterordner?

Edit:

carel hat geschrieben: Wird der Bot sie nun aus dem Index nehemen oder werden die eingehenden Links auf die Seite/Unterordner dafür sorgen das sie indexiert bleibt?

Er wird es aus dem index nehmen wenn du es richtig machst. Alles weitere steht glaub ich im link.



Edit 2:
Mir ist eingefallen das man den Google crawler natürlich auch ganz sperren kann, aber speziell für eine unterseite/ordner weis ich so nicht. Aber das sie nicht indixiert wird sollte klappen. Dafür sollte ja die Robots.txt sein aber da ich die nicht brauche sehe ich nicht ob er es nur ignoriert oder auch nicht mehr zugegriffen wird.