Aber jetzt bin ich anscheinend dümmer als vorher.
Daher meine Frage:
Wenn ich die ganzen Seiten einer Domain indizieren lassen will trage ich in die metatags ein:
Will ich eine bestimmte Seite dabei ausschliessen trage ich in die robots.txt ein:<meta name="robots" content="INDEX,FOLLOW">
Will ich den Spider auf die robots.txt lenken trage ich in die metatags ein:#robots.txt
User-agent: *
Disallow: /styles.css
Disallow: /nicht-spidern.php
Wie verträgt sich jetzt folgender Eintrag in den Metas:<META NAME="Robots" CONTENT="robots.txt">
ich blick nicht mehr durch...<meta name="robots" content="INDEX,FOLLOW">
<META NAME="siteinfo" CONTENT="robots.txt">
Ich will nur eine Seite ausschliessen und den Rest spidern lassen.
Was muss ich richtig machen?
Bitte um Hilfe