ABAKUS

eine Sperrung per robots.txt bedeutet ja nur das er die site nicht spidern soll, kennen darf er sie dann aber..

les dir das mal durch: https://www.martins-meinung.de/2007/01/ ... wirkungen/

wenn sie nicht im index erscheinen soll, darfste sie nicht per robots.txt blocken, sondern musst sie auf noindex setzen...

Komisch... Bei mir hat das seltsamerweise funktioniert. Das Thema hatten wir ja in einem anderen Thread schon einmal...

Sie ist nur wirksam, solange die Seite nicht von außen verlinkt wird. Geschieht das, ist auf die robots.txt kein Verlass.

PanchoVilla hat geschrieben:Komisch... Bei mir hat das seltsamerweise funktioniert. Das Thema hatten wir ja in einem anderen Thread schon einmal...

So ein Schmarrn,

lest doch einmal was net(t)worker geschrieben hat:

Wenn ihr mit der robots.txt eine Seite, die bereits im Index ist, für Google sperrt, kann Google nicht mehr spidern - kennen darf man sie aber schon.

Das ist so wie wenn ihr dem Müllmann sagt "Bitte leeren Sie meine Mülltonne", das Ding aber fest verschlossen in der Garage steht.

Je nach Situation bieten sich da verschiedene HTTP Status Codes / noindex an.

Toller Vergleich...

Abgesehen von deiner Pluralnutzung war meine Seiten bereits im Index, nichts desto trotz sind sie anschließend nach Blockierung durch die robots.txt aus dem Index geflogen.

Wenn du nun meine Aussage anzweifeln willst, viel Spaß...

Selbst 1 Jahr 404 schafften es bei mir nicht, solche Leichen aus dem Index zu schaufeln. Empfehle google webmastertools, dann dauerts meist nur ein paar Stunden.

Alternativ das hier lesen:
https://www.google.com/support/webmaste ... swer=64033

Führt einen zwangsläufig hierhin, womit man wohl (untested) auch fremde 404er aus dem Index werfen kann.
https://www.google.com/webmasters/tools/removals
(Google Konto braucht man dafür allerdings...)