robots.txt und metatags

[Fridaynite]

Habe mich jetzt 2 Stunden durch die Suche gewühlt und unzählige Beiträge gelesen.

Aber jetzt bin ich anscheinend dümmer als vorher.
Daher meine Frage:

Wenn ich die ganzen Seiten einer Domain indizieren lassen will trage ich in die metatags ein:

<meta name="robots" content="INDEX,FOLLOW">

Will ich eine bestimmte Seite dabei ausschliessen trage ich in die robots.txt ein:

#robots.txt
User-agent: *
Disallow: /styles.css
Disallow: /nicht-spidern.php

Will ich den Spider auf die robots.txt lenken trage ich in die metatags ein:

<META NAME="Robots" CONTENT="robots.txt">

Wie verträgt sich jetzt folgender Eintrag in den Metas:

<meta name="robots" content="INDEX,FOLLOW">
<META NAME="siteinfo" CONTENT="robots.txt">

ich blick nicht mehr durch...

Ich will nur eine Seite ausschliessen und den Rest spidern lassen.
Was muss ich richtig machen?

Bitte um Hilfe

[mark]

Moin
Die Spider suchen eigentlich automatisch nach der Datei www.deinedomain.xy/ robots.txt
Darum muß man sich nicht kümmern.

Ich will nur eine Seite ausschliessen und den Rest spidern lassen.
Was muss ich richtig machen?

Die nicht zu spidernde Seite in die robots.txt und dann zusätzlich noch
<meta name="robots" content="NOINDEX">
in die entsprechende Datei.


gruß mark

[Fridaynite]

ah - dann werd ich das umsetzen.

was mich verwirrt hat, waren die metas auf www.abakus-internet-marketing.de.

da steht nämlich:
<meta name="robots" content="index,follow">
und in der robots.txt werden dann alle möglichen spider von allen möglichen verzeichnissen ausgeschlossen.
das kollidiert doch miteinander, wie ich finde..

[mark]

Das kollidiert eigentlich nicht.
per robots.txt kann man spider von vornherein aussperren die man nicht haben will, die die dann spidern dürfen sollen auch indizieren und den Links folgen.

gruß mark

[bugscout]

moin Fridaynite,

<meta name="robots" content="index,follow">
bezieht sich nur auf die seite auf der das steht.

es ist keine anweisung für alle seiten der domain.

grüsse

[Fridaynite]

moin bugscout,

dann kann man den metaname ja eigentlich komplett weglassen und nur die robots.txt ins verzeichnis stellen.

die sumas wühlen sich dann ja sowieso durch meine links..

[bugscout]

moin moin,

wenn du jetzt aber für verschiedene seiten verschiedene
anweisungen hast, brauchst du die schon.

<meta name="robots" content="index,follow"> ist standart,
wenn das nicht da steht, macht dich suchmaschine das gleiche.

wenn du jetzt aber ein frame hast und die navigation soll nicht
als suchtreffer erscheinen, aber natürlich die links verfolgt werden,
kommt da <meta name="robots" content="noindex,follow">


grüsse

[Fridaynite]

nein - ich arbeite schon ewig nicht mehr mit framesets.

mir gehts nur darum, dass ich einzelne redirect-seiten nicht gespidert haben will wegen der externen links darauf. die anderen seiten sollen natürlich alle gefunden werden.
wenn du mir sagst, dass google und co. die robots.txt sowieso findet dann solls mir recht sein.
was sagt denn dann eigentlich dieser tag aus?
<META NAME="siteinfo" CONTENT="robots.txt">

[bull]

<META NAME="siteinfo" CONTENT="robots.txt">

würd ich weglassen. finde das einen völlig irrelevanten tag. noch nie selbst eingesetzt, und g'bot und consorten kommen trotzdem.

[weltweit]

was sagt denn dann eigentlich dieser tag aus?
<META NAME="siteinfo" CONTENT="robots.txt">

Das ist der Pfad zu deiner robots.txt - Datei. Ich geb den Pfad immer an, kann ja nicht schaden...

...oder was meinen die anderen dazu ?

[viggen]

ich persönlich habe diesen tag noch nie benützt.

mfg
viggen

[auer]

Die robots.txt liegt entweder im Wurzelverzeichnis oder es ist nicht 'die robots.txt'.

Offenbar verbreiten sich da merkwürdige Gerüchte, weil irgendjemand mal seine eigenen meta-Tags erfunden hat.

Verbindliche Referenz: https://www.robotstxt.org/wc/exclusion.html

-------
Gruß, Jürgen Auer

[Fridaynite]

Hab gestern den Content auf den Server geschoben und 3 Links von anderen Domains auf die Startseite gerichtet.
Google war heute nacht da mit 3 Bots und 3 Deepcrawlern anschliessend.
Die einzige Seite die er nicht gespidert hat, war diejenige, die ich gesperrt hatte.
Funzt also.

Danke
Fridaynite.