Ich habe vor kurzem irgendwo gelesen(glaub es war ein ami blog), der geschrieben hat, dass man eine Seite, die man im meta-robots Tag auf noindex setzt, nicht auch gleichzeitig über die Robots ausschließen soll.
Ist da etwas dran? Dürfte doch eigentlich kein Problem sein? eigentlich reicht noindex alleine ja eh völlig aus
Ja, es bedeutet nicht dasselbe. Mit "noindex" sagst Du nur, dass der Inhalt nicht in den Index der Suchmaschine gelangen soll. Links werden dagegen schon verfolgt, da ja kein gleichzeitiges "nofollow" in dem Beispiel vorkommt.
Ausschluss einer Seite per robots.txt kombiniert beide Wirkungen: Die Seite wird gar nicht erst gesidert...
Nein. Sei Dir nur über die Unterschiede im Klaren.
Sperrung per robots.txt:
Der robot lädt die Seite erst gar nicht von Deinem Server.
Sperrung per noindex:
Der robot lädt die Seite und liest den Inhalt. Den Inhalt liest er nur, weil es technisch notwendig ist. Sonst kann er Dein noindex ja nicht entdecken! Den textlichen Inhalt verwirft der robot dann bei der Entdeckung von noindex gleich wieder und folgt nur den Links, die er gefunden hat.