Seite 1 von 1
Robots.txt
Verfasst: 19.09.2004, 14:05
von Andreas84
Hallo,
ich kenn mich leider mit dem Thema noch nicht so aus, aber was bringt eine Robots.txt ? Hat diese Auswirkungen auf das Ranking?
Kann mir wer vielleicht eine fertige sagen?
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 19.09.2004, 14:12
von bull
Ranking
Nein.
Kann mir wer vielleicht eine fertige sagen?
Gibt es überall. Naturgemäß ist Kopieren+Einfügen eine heikle Sache.
Eine robots.txt dient dazu, einem Roboter zu sagen, welche Verzeichnisse und Dateien er nicht laden darf. So meint beispielsweise
User-agent: Googlebot
Disallow: /
daß Googlebot hier ganz unerwünscht ist.
User-agent: Googlebot
Disallow: /foo/
meint, daß Googlebot das Verzeichnis "foo" nicht spidern soll.
User-agent: Googlebot
Disallow: /foo/test.htm
meint, daß Googlebot nur /foo/test.htm nicht spidern soll, den Rest von /foo hingegen schon.
User-agent: *
Disallow: /foo/
verbietet allen Roboter, foo zu spidern.
Die bekannteren Suchmaschinen (sofern sie offiziell als Roboter auftreten) halten sich an die robots.txt-Anweisungen. Lädt ein Roboter keine robots.txt, so kann er sich naturgemäß auch nicht dran halten. Derartige Kandidaten können allefalls vermittelst .htaccess daran gehindert werden, ihrer Tätigkeit nachzukommen.
