mit Grausen ist mir vor ein paar Wochen bewußt geworden, daß der Googlebot die ganze Zeit auf meinen Seiten (ein Shop) eine Session-ID verpaßt bekam, somit viele Seiten mehrfach gelistet waren und double content erzeugten.
Das ich einen 404 senden sollte und die Seiten über die robots.txt und die Konsole wegbekommen kann leuchtet mir noch ein, aber was ist mit Seiten, die eigentlich noch da sind und sich nur an Hand der Session-ID unterscheiden?
Ich habe jetzt ca. 800 Seiten (immer in 100er Schritten weil Google auf einmal nicht mehr nimmt) mit der dazugehörigen Session-ID "verboten".
Die Zahl sinkt langsam und die Seiten ohne ID sind weiter im Index, ist die Methode also richtig?
Und kann ich davon ausgehen, daß meine Verbote, auch wenn die robots.txt wieder anders aussieht (die Links von Google aber mit "abgeschlossen" quittiert wurde), auf alle Datencenter übernommen werden?