Beitrag
von Andreas I. » 15.05.2008, 16:08
Nein. Sei Dir nur über die Unterschiede im Klaren.
Sperrung per robots.txt:
Der robot lädt die Seite erst gar nicht von Deinem Server.
Sperrung per noindex:
Der robot lädt die Seite und liest den Inhalt. Den Inhalt liest er nur, weil es technisch notwendig ist. Sonst kann er Dein noindex ja nicht entdecken! Den textlichen Inhalt verwirft der robot dann bei der Entdeckung von noindex gleich wieder und folgt nur den Links, die er gefunden hat.