@Melegrian
Beides ist nicht das gleiche, auch wenn beides "robots" heißt.
@kitaro
Wenn Seiten per "robots.txt" auf Disallow stehen, dann heißt das nur, dass sie Suma das entsprechende File / Verzeichnis nicht aufrufen soll. Eine Indexierung ist dennoch möglich, etwa wenn ein Link von außen auf die Seite gesetzt wird.
Meta-Robots "noindex" hingegen heißt, dass Sumas das File zwar aufrufen, aber eben nicht indexieren.
Was aber wenn zusätzlich zu einem Disallow in der robots.txt die gleiche Seite
einen Follow Meta-Tag im Header hat?
Das würde sich sogar etwas widersprechen oder gegenseitig im Weg stehen. Wenn die Suma ein Disallow von der robots.txt bekommt, dann ruft die das File normalerweise erst gar nicht auf. Ruft die es aber nicht auf, dann findet sie auch die Meta-Robots nicht, logisch oder?
robots.txt ist wie ein Museum, dessen Tür zwar offen ist, darüber aber ein Schild steht: "Zutritt verboten"
meta-Robots hingegen haben das Schild darüber nicht, man kommt also in das Museum. Dort steht dann ein Hinweis ala "Berühren oder fotografieren verboten."
Ich würde erst einmal alles per meta-Robots machen, wenn es denn möglich ist. Andere Dinge, wie JS, Bilderverzeichnisse, PDFs etc kann man per robots.txt behandeln, da man an die per meta nicht so leicht rankommt.
Willst Du also, dass die -s20.html genauso behandelt werden wie alle anderen Seiten auch, aber nicht in den Index kommen, dann setze meta-Robots = noindex und lass alles andere weg.
