robots.txt bei einer Google-Site

Beitrag von **Wang** » 14.12.2010, 12:59

Guten Tag,

ich fand bei meiner Google Sie den unten kopierten Eintrag in der
robots-txt. Was bewirkt er ?

User-agent: *
Disallow: /feeds/

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **r-alf** » 14.12.2010, 13:02

https://lmgtfy.com/?q=robots.txt

Beitrag von **Wang** » 15.12.2010, 06:24

Was bewirkt denn der betreffende Eintrag aus der Sicht der Suchmaschinenoptimierung einer Seite ?

Wird die Homepage damit anderes bewertet und von Suchmaschinen "gesehen" als ohne den Eintrag ?

Ich bitte um einen Rat.

von **Anzeige von ABAKUS** »

Beitrag von **kanuddel** » 15.12.2010, 10:45

das heißt einfach nur dass kein bot das verzeichnis /feeds/ durchcrawlen soll. dass sich da aber nicht alle bots daran halten kann man nicht beeinflussen.

für weitere infos empfehle ich den den von r-alf genannten link, oder auch www.gidf.de

Beitrag von **Wang** » 15.12.2010, 12:08

Wird denn der Inhalt der Seiten, auf denen die Feeds sind, weiter gecrawlt ?

Beitrag von **Beloe007** » 15.12.2010, 16:13

Beitrag von **mgutt** » 15.12.2010, 17:34

Sofern sie von anderer Stelle verlinkt wurden ja, sonst nein (weil die Links dann ja kein Bot kennt).

Beitrag von **Beloe007** » 15.12.2010, 19:28

Ich gehe von aus er meint, SeiteX macht einen Link auf Feed, ob dann SeiteX gecrawlt wird, obwohl der Feed auf Disallow steht.

Alle anderen Fragen würden keinen Sinn ergeben, denn darauf hat er ja eine Antwort, wenn er r-alfs Vorschlag beherzigt hat

Beitrag von **Wang** » 16.12.2010, 06:17

Beloe007 hat geschrieben:Ich gehe von aus er meint, SeiteX macht einen Link auf Feed, ob dann SeiteX gecrawlt wird, obwohl der Feed auf Disallow steht.

Ja, das ist meine Frage.
Wird Seite X gecrawlt ?