CONTENT="INDEX" > robots.txt ?

[claude]

Hallo,

ich habe eien Reihe von Seiten über die robots.txt blockiert.
Eine dieser Seiten ist jedoch jetzt wieder im Index aufgetaucht.

Auf dieser Seite steht folgendes Tag: <META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">.
Kann es sein dass dieses Tag stärker bewertet wird als die Angabe aus der robots.txt?

Schöne Grüsse

[chrizz]

die robots.txt gibt nur an, ob der Spider die Seite besuchen darf.
Wird von aussen gelinkt, dann landet die Siete im Index. Dafür gibts ja auch die o.g. meta Tags... mach aus dem index ein noindex und warte ab.
und wenns schnell gehen muss, dann nutz das URL Removal Tool aus dem WMT.
cheers

[i<3Google]

ich hab auch Seiten mit Noindex MetaTag versehen und auch Seiten mit robots.txt gesperrt - der Googlebot holt sich den Scheiss zwar - obwohl er es net soll - aber im Index landen die Seiten bei mir nie

hier schau mal - das würd dich interessieren ...

https://www.mattcutts.com/blog/google-noindex-behavior/

[claude]

Danke