ABAKUS

Habe mich jetzt 2 Stunden durch die Suche gewühlt und unzählige Beiträge gelesen.

Aber jetzt bin ich anscheinend dümmer als vorher.
Daher meine Frage:

Wenn ich die ganzen Seiten einer Domain indizieren lassen will trage ich in die metatags ein:

<meta name="robots" content="INDEX,FOLLOW">

Will ich eine bestimmte Seite dabei ausschliessen trage ich in die robots.txt ein:

#robots.txt
User-agent: *
Disallow: /styles.css
Disallow: /nicht-spidern.php

Will ich den Spider auf die robots.txt lenken trage ich in die metatags ein:

<META NAME="Robots" CONTENT="robots.txt">

Wie verträgt sich jetzt folgender Eintrag in den Metas:

<meta name="robots" content="INDEX,FOLLOW">
<META NAME="siteinfo" CONTENT="robots.txt">

ich blick nicht mehr durch...

Ich will nur eine Seite ausschliessen und den Rest spidern lassen.
Was muss ich richtig machen?

Bitte um Hilfe

Moin
Die Spider suchen eigentlich automatisch nach der Datei www.deinedomain.xy/ robots.txt
Darum muß man sich nicht kümmern.

Ich will nur eine Seite ausschliessen und den Rest spidern lassen.
Was muss ich richtig machen?

Die nicht zu spidernde Seite in die robots.txt und dann zusätzlich noch
<meta name="robots" content="NOINDEX">
in die entsprechende Datei.


gruß mark

ah - dann werd ich das umsetzen.

was mich verwirrt hat, waren die metas auf www.abakus-internet-marketing.de.

da steht nämlich:
<meta name="robots" content="index,follow">
und in der robots.txt werden dann alle möglichen spider von allen möglichen verzeichnissen ausgeschlossen.
das kollidiert doch miteinander, wie ich finde..