Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

[Gelöst] Mit robots.txt Seiten per Wildcard ausschließen

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
pee
PostRank 3
PostRank 3
Beiträge: 76
Registriert: 13.02.2009, 06:22

Beitrag von pee » 02.01.2011, 11:41

Hallo,

kann mir bitte jemand posten, ob ich mit der robots.txt Seiten per Wildcard (also *) von der Indexierung bei Google zuverlässig ausschließen kann?

Also
User-agent: *
Disallow: /diese-seiten-bitte-nicht*
Mein Problem ist noch, dass einige dieser unerwünschten Seiten bereits im Google Index auftauchen. Werden die Seiten mit der Zeit aus dem Google-Index entfernt, wenn ich den Zugriff per robots.txt unterbinde?

Viele Grüße,
pee
Zuletzt geändert von pee am 02.01.2011, 12:59, insgesamt 1-mal geändert.

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Lord Pixel
PostRank 7
PostRank 7
Beiträge: 601
Registriert: 24.08.2007, 17:06

Beitrag von Lord Pixel » 02.01.2011, 12:15

Ja, Google unterstützt solche Wildcards in den robots.txt - wenn du dir unsicher bist, kannst du das in den Google Webmaster Tools auch unter Site configuration -> Crawler access prüfen (bzw deutsche Entprechungen, ich hab mein Google-Konto auf Englisch gestellt).

Google entfernt diese Seiten nach einiger Zeit von selbst wieder. Wenn es schneller gehen muss, kannst du aber unter Site configuration -> Crawler access -> Remove URL auch nachhelfen.

pee
PostRank 3
PostRank 3
Beiträge: 76
Registriert: 13.02.2009, 06:22

Beitrag von pee » 02.01.2011, 12:58

Danke für den Hinweis. Habe die robots.txt editiert und auch den Antrag in den Webmaster Tools abgesendet.

Antworten