Seite 1 von 1
robots.txt bei einer Google-Site
Verfasst: 14.12.2010, 12:59
von Wang
Guten Tag,
ich fand bei meiner Google Sie den unten kopierten Eintrag in der
robots-txt. Was bewirkt er ?
User-agent: *
Disallow: /feeds/
Verfasst: 14.12.2010, 13:02
von r-alf
Verfasst: 15.12.2010, 06:24
von Wang
Was bewirkt denn der betreffende Eintrag aus der Sicht der Suchmaschinenoptimierung einer Seite ?
Wird die Homepage damit anderes bewertet und von Suchmaschinen "gesehen" als ohne den Eintrag ?
Ich bitte um einen Rat.
Verfasst: 15.12.2010, 10:45
von kanuddel
das heißt einfach nur dass kein bot das verzeichnis /feeds/ durchcrawlen soll. dass sich da aber nicht alle bots daran halten kann man nicht beeinflussen.
für weitere infos empfehle ich den den von r-alf genannten link, oder auch
www.gidf.de 
Verfasst: 15.12.2010, 12:08
von Wang
Wird denn der Inhalt der Seiten, auf denen die Feeds sind, weiter gecrawlt ?
Verfasst: 15.12.2010, 16:13
von Beloe007
ja
Verfasst: 15.12.2010, 17:34
von mgutt
Sofern sie von anderer Stelle verlinkt wurden ja, sonst nein (weil die Links dann ja kein Bot kennt).
Verfasst: 15.12.2010, 19:28
von Beloe007
Ich gehe von aus er meint, SeiteX macht einen Link
auf Feed, ob dann SeiteX gecrawlt wird, obwohl der Feed auf Disallow steht.
Alle anderen Fragen würden keinen Sinn ergeben, denn darauf hat er ja eine Antwort, wenn er r-alfs Vorschlag beherzigt hat
Verfasst: 16.12.2010, 06:17
von Wang
Beloe007 hat geschrieben:Ich gehe von aus er meint, SeiteX macht einen Link auf Feed, ob dann SeiteX gecrawlt wird, obwohl der Feed auf Disallow steht.
Ja, das ist meine Frage.
Wird Seite X gecrawlt ?
