Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

robots.txt und metatags

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Fridaynite
PostRank 10
PostRank 10
Beiträge: 2983
Registriert: 07.01.2004, 09:10

Beitrag von Fridaynite » 07.01.2004, 09:21

Habe mich jetzt 2 Stunden durch die Suche gewühlt und unzählige Beiträge gelesen.

Aber jetzt bin ich anscheinend dümmer als vorher.
Daher meine Frage:

Wenn ich die ganzen Seiten einer Domain indizieren lassen will trage ich in die metatags ein:
<meta name="robots" content="INDEX,FOLLOW">
Will ich eine bestimmte Seite dabei ausschliessen trage ich in die robots.txt ein:
#robots.txt
User-agent: *
Disallow: /styles.css
Disallow: /nicht-spidern.php
Will ich den Spider auf die robots.txt lenken trage ich in die metatags ein:
<META NAME="Robots" CONTENT="robots.txt">
Wie verträgt sich jetzt folgender Eintrag in den Metas:
<meta name="robots" content="INDEX,FOLLOW">
<META NAME="siteinfo" CONTENT="robots.txt">
ich blick nicht mehr durch...

Ich will nur eine Seite ausschliessen und den Rest spidern lassen.
Was muss ich richtig machen?

Bitte um Hilfe :-)