robots.txt - nofollow - noindex

[chrizz]

mal kurz ne Frage:
wenn ich eine Seite per robots.txt ausschließe, werden Links von dieser Seite verfogt oder nicht?
Wird also die Robots.txt Exclusion wie ein noinde/nofollow oder nur wie ein noindex behandelt?

Irgendwo wurde das hier schonmal diskutiert, aber ich finds grad nicht...

danke,

[Fridaynite]

Ist schon noch mal was anderes. In der robots.txt teilst Du dem Bot ja mit, dass er diese Seiten nicht einmal besuchen darf. Wie soll er da überhaupt was sehen dann, wenn er nicht drauf geht?

[UweT]

nja der Bot darf die Seite nicht besuchen, er weiss aber, dass es die URL gibt und listet im Zweifel nur die nackte URL - der Inhalt der Seite sollte dem Crawler jedoch nicht bekannt sein - rankt die nackte URL zu einem Keyword, liegt das dann zu hoher Wahrscheinlichkeit an den eingehenden Linktexten / Umfeld der Links, die auf die gesperrte URL verweisen.

gruß
tbone.

[chrizz]

irgendwie ist das ja ziemlich verwirrend. Sagst per robots.txt, dass die die Seite nicht gecrawlt werden soll, aber u.U. rankt die URL trotzdem... also braucht man dann ja auch immernoch noindex, wenn man sicher sein will... und das mit dem nofollow ist eigentlich auch klar... hätte ich auch allein drauf kommen können, aber manchmal fehlt's einfach an genügend Kaffee für den Denkapperat

cheers aus Berlin

[TheFreeman]

Gibt´s denn generell einen Bericht, wo amn sich über Inhalt und folgen einer robots.txt ausführlich informieren kann?