Ich habe mich selber auch gewundertmario hat geschrieben:@terese
grad mal einige urls überprüft hab', robots.txt wird sauber erkannt...Ansonsten wird nun auch die robots.txt überprüft und nur Seiten in die Liste übernommen welche einen 302 oder Meta-Refresh machen und diese Seiten auch nicht per robots.txt aussperren.
