Hallo Leute!
Ich habe vor ein paar Monaten in der robots.txt eingetragen, dass alle Seiten die ein Fragezeichen (?) enthalten nicht in den Index aufgenommen werden.
Google geht da ja nach der eigenen Aussage so vor: "Falls der betreffende Content bereits in unserem Index enthalten ist, wird er beim nächsten Crawlen entfernt."
Jetzt sehe ich diese Seiten aber immernoch im im Google-Index, allerdings TEILWEISE ohne Content-Beschreibung und auch in den Webmaster Tools. Einige Seiten stehen aber mit Content im Google Index, obwohl diese angeblich laut Webmaster-Tools geblockt werden.
Ich könnte mir ja nun die Mühe mache, diese Seiten alle schön einzeln mit dem "Ich muss jede der 10.000.000 Seiten einzeln entfernen"-Tool (gibtsdairgendein Tool wo man eine komplette Liste rein kopieren kann???) in den Webmaster-Tools entfernen. Aber was bringt das, Google nimmt die Seiten (wenn ich Glück habe) ohne Content ja anscheinend wieder in den Index auf???
Archiv
