robots.txt - Ganze Unterordner sperren?
Verfasst: 10.04.2012, 15:39
Leider sind von meiner Seite immer wieder URL's aus dem Unterordner /components indexiert. Sogar ein Sitelink ist dabei.
Keine Ahnung woher das überhaupt kommt, klar ist aber dass das nicht sein sollte. Nun würde ich gerne in der robots.txt Alle URL's in /components blockieren, nur frage ich mich, geht das überhaupt? Kann ich einen ganzen Tree sperren?
Wenn ich in der robots.txt eintrage:
Ist dann auch /components/test/ gesperrt?
Keine Ahnung woher das überhaupt kommt, klar ist aber dass das nicht sein sollte. Nun würde ich gerne in der robots.txt Alle URL's in /components blockieren, nur frage ich mich, geht das überhaupt? Kann ich einen ganzen Tree sperren?
Wenn ich in der robots.txt eintrage:
Code: Alles auswählen
Disallow: /components/