Frage zu Robots.txt und nofollow

[Mister Marketing]

Hallo!
ich möchte einen Ordner von der Indexierung ausschließen. Beispiel: Der Ordner heißt "empfehlungen", dann schreibe ich in die robots.txt folgendes:

User-agent: *
Disallow:/empfehlung/

wie schreibe ich das in die metatags, dass der ordner ausgeschlossen werden soll?

[Artikel-SEO (gesperrt)]

wie schreibe ich das in die metatags, dass der ordner ausgeschlossen werden soll?

Was haben die Metatags damit zu tun?

[Mister Marketing]

schreibt man nicht in die metatags "nofollow" oder ähnliches? oder wird das nur in die robots.txt geschrieben?

[huah]

Wenn Du den Bot per robots.txt ausschliesst, sollter er im Idealfall die betreffende Seite gar nicht mehr aufrufen.

MIt follow oder nofollow im Head beeinflusst Du zusätzlich, ob der Bot den Links auf der Seite folgt oder nicht.

Zb. Seite nicht in den Index aufnehmen, aber den Links folgen:

Code: Alles auswählen

<meta name="robots" content="noindex, follow" />

[Mork vom Ork]

Der Ordner heißt "empfehlungen", dann schreibe ich in die robots.txt folgendes:

User-agent: *
Disallow:/empfehlung/

wie schreibe ich das in die metatags, dass der ordner ausgeschlossen werden soll?

<meta>-robots mit noindex ist eine gleichwertige Alternative zum Disallow-Eintrag in der robots.txt. Wenn du eine nutzt, brauchst du die andere nicht. Und auch wenn es möglich ist, solltest du es tunlichst unterlassen, beide, sowohl robots.txt als auch <meta>-noindex gleichzeitig zu nutzen, weil bei solchen Sachen nicht „Doppelt hält besser“ gilt, sondern nur, dass man bei einer Änderung irgendwann mal eine der beiden Stellen vergisst anzupassen - und prompt hat man widersprüchliche Aussagen. Generell niemals ein- und dieselbe Option an verschiedenen Stellen abspeichern.

Die Optionen, die <meta> gegenüber der robots.txt zusätzlich bietet, sind:
- nofollow: Wurde hier schon beschrieben, Verweisen dieser Seite auf andere Seiten nicht folgen. nofollow hat also keinen Einfluss auf die Seite, in der es steht, nur auf die Seiten, auf die verwiesen wird.
- noarchive: Seite indizieren, aber keine Kopie der Seite anbieten, wie es zum Beispiel Google mit seinen Cache-Ergebnissen macht.

[chrizz]

@mork:
es kommt doch aber mehr als häufig vor, dass Seiten trotz Exclusion in der Robots.txt indexiert werden, weil sie von aussen angelinkt werden... insofern find ich es gar nicht verkehrt beides mit aufzunehmen...

[Mork vom Ork]

es kommt doch aber mehr als häufig vor, dass Seiten trotz Exclusion in der Robots.txt indexiert werden, weil sie von aussen angelinkt werden

Die werden aber nicht vom Bot ausgelesen, stehen dementsprechend nur als inhaltslose URL im Index und werden nur gefunden, wenn man explizit danach sucht, zum Beispiel unter Einsatz der URL selbst als Suchwort. So gesehen sind sie praktisch nicht existent.

Du wirst allerdings insofern recht haben, als dass ich mich dunkel zu erinnern meine, dass <meta>-noindex auch noch diese 20, 30 Bytes für die URL aus dem Index entfernt - porentief rein, sozusagen. Ich bin mir aber nicht sicher, ob ich das richtig in Erinnerung habe, mich kümmert sowas nicht so sehr (bzw. nicht genug, um die zentrale robots.txt durch haufenweise dezentrale <meta>s zu ersetzen).