Wahrscheinlich wurde das Thema hier schon öfter behandelt. Trotzdem habe ich einen speziellen Fall, zu dem ich seit Wochen recherchiere und keine Erklärung finde.
Ich habe eine Website mit ca. 150 Seiten - aber in den Suchergebnissen vertreten mit 1650 URLs.
Darunter viele dynamische URLs. Wenn man diese mit robots.txt blockiert, werden sie weiterhin angezeigt.
Vor 6 bis 8 Wochen habe ich dann einen 410-StatusCode implementiert für alle dynamischen URLs (die robots.txt hat die URLs dann nicht mehr blockiert). Leider werden die URLs in den Suchergebnissen nicht weniger.
Es ist nicht möglich, ein "noindex-Metatag" einzufügen oder alle mit den WMT einzeln zu löschen.
Wie also bekomme ich diese URLs aus dem Index der Suchmaschinen?
Vielleicht liegt der Fehler in deiner robots.txt oder du hast sie zu vorschnell wieder entfernt, es kann eine Zeit dauern bis Google darauf reagiert und die Seiten aus dem Index nimmt.
Der 410er ist an und für sich der richtige Statuscode dafür, aber ich könnte mir vorstellen dass ein noindex-Metatag als gebräuchlicheres Mittel für derlei Zwecke schnelleren Erfolg hätte.