robots.txt bei einer Google-Site

[Wang]

Guten Tag,

ich fand bei meiner Google Sie den unten kopierten Eintrag in der
robots-txt. Was bewirkt er ?

User-agent: *
Disallow: /feeds/

[r-alf]

https://lmgtfy.com/?q=robots.txt

[Wang]

Was bewirkt denn der betreffende Eintrag aus der Sicht der Suchmaschinenoptimierung einer Seite ?

Wird die Homepage damit anderes bewertet und von Suchmaschinen "gesehen" als ohne den Eintrag ?

Ich bitte um einen Rat.

[kanuddel]

das heißt einfach nur dass kein bot das verzeichnis /feeds/ durchcrawlen soll. dass sich da aber nicht alle bots daran halten kann man nicht beeinflussen.

für weitere infos empfehle ich den den von r-alf genannten link, oder auch www.gidf.de

[Wang]

Wird denn der Inhalt der Seiten, auf denen die Feeds sind, weiter gecrawlt ?

[Beloe007]

ja

[mgutt]

Sofern sie von anderer Stelle verlinkt wurden ja, sonst nein (weil die Links dann ja kein Bot kennt).

[Beloe007]

Ich gehe von aus er meint, SeiteX macht einen Link auf Feed, ob dann SeiteX gecrawlt wird, obwohl der Feed auf Disallow steht.

Alle anderen Fragen würden keinen Sinn ergeben, denn darauf hat er ja eine Antwort, wenn er r-alfs Vorschlag beherzigt hat

[Wang]

Ich gehe von aus er meint, SeiteX macht einen Link auf Feed, ob dann SeiteX gecrawlt wird, obwohl der Feed auf Disallow steht.

Ja, das ist meine Frage.
Wird Seite X gecrawlt ?