[Gelöst] Mit robots.txt Seiten per Wildcard ausschließen

Beitrag von **pee** » 02.01.2011, 11:41

Hallo,

kann mir bitte jemand posten, ob ich mit der robots.txt Seiten per Wildcard (also *) von der Indexierung bei Google zuverlässig ausschließen kann?

Also

User-agent: *
Disallow: /diese-seiten-bitte-nicht*

Mein Problem ist noch, dass einige dieser unerwünschten Seiten bereits im Google Index auftauchen. Werden die Seiten mit der Zeit aus dem Google-Index entfernt, wenn ich den Zugriff per robots.txt unterbinde?

Viele Grüße,
pee

von **Anzeige von ABAKUS** »

Beitrag von **Lord Pixel** » 02.01.2011, 12:15

Ja, Google unterstützt solche Wildcards in den robots.txt - wenn du dir unsicher bist, kannst du das in den Google Webmaster Tools auch unter Site configuration -> Crawler access prüfen (bzw deutsche Entprechungen, ich hab mein Google-Konto auf Englisch gestellt).

Google entfernt diese Seiten nach einiger Zeit von selbst wieder. Wenn es schneller gehen muss, kannst du aber unter Site configuration -> Crawler access -> Remove URL auch nachhelfen.

Beitrag von **pee** » 02.01.2011, 12:58

Danke für den Hinweis. Habe die robots.txt editiert und auch den Antrag in den Webmaster Tools abgesendet.