Robots.txt

Hallo,

ich kenn mich leider mit dem Thema noch nicht so aus, aber was bringt eine Robots.txt ? Hat diese Auswirkungen auf das Ranking?

Kann mir wer vielleicht eine fertige sagen?

Ranking

Nein.

Kann mir wer vielleicht eine fertige sagen?

Gibt es überall. Naturgemäß ist Kopieren+Einfügen eine heikle Sache.

Eine robots.txt dient dazu, einem Roboter zu sagen, welche Verzeichnisse und Dateien er nicht laden darf. So meint beispielsweise

User-agent: Googlebot
Disallow: /

daß Googlebot hier ganz unerwünscht ist.

User-agent: Googlebot
Disallow: /foo/

meint, daß Googlebot das Verzeichnis "foo" nicht spidern soll.

User-agent: Googlebot
Disallow: /foo/test.htm

meint, daß Googlebot nur /foo/test.htm nicht spidern soll, den Rest von /foo hingegen schon.

User-agent: *
Disallow: /foo/

verbietet allen Roboter, foo zu spidern.

Die bekannteren Suchmaschinen (sofern sie offiziell als Roboter auftreten) halten sich an die robots.txt-Anweisungen. Lädt ein Roboter keine robots.txt, so kann er sich naturgemäß auch nicht dran halten. Derartige Kandidaten können allefalls vermittelst .htaccess daran gehindert werden, ihrer Tätigkeit nachzukommen.