Ranking
Nein.
Kann mir wer vielleicht eine fertige sagen?
Gibt es überall. Naturgemäß ist Kopieren+Einfügen eine heikle Sache.
Eine robots.txt dient dazu, einem Roboter zu sagen, welche Verzeichnisse und Dateien er nicht laden darf. So meint beispielsweise
User-agent: Googlebot
Disallow: /
daß Googlebot hier ganz unerwünscht ist.
User-agent: Googlebot
Disallow: /foo/
meint, daß Googlebot das Verzeichnis "foo" nicht spidern soll.
User-agent: Googlebot
Disallow: /foo/test.htm
meint, daß Googlebot nur /foo/test.htm nicht spidern soll, den Rest von /foo hingegen schon.
User-agent: *
Disallow: /foo/
verbietet allen Roboter, foo zu spidern.
Die bekannteren Suchmaschinen (sofern sie offiziell als Roboter auftreten) halten sich an die robots.txt-Anweisungen. Lädt ein Roboter keine robots.txt, so kann er sich naturgemäß auch nicht dran halten. Derartige Kandidaten können allefalls vermittelst .htaccess daran gehindert werden, ihrer Tätigkeit nachzukommen.
