Seite trotz blockieren mit robots.txt im Index

Beitrag von **herbert00** » 25.03.2009, 15:26

Hallo,

ich wollte eine page meiner Website mit der robots.txt blocken.
Google hat nun Title und Description aus dem Index entfernt, jedoch steht nun nur noch die URL der page im Index. Diese wurde nicht entfernt.

Kann mir hier jemand weiterhelfen, wieso das so ist?

Danke und Gruß
Herbert

von **Anzeige von ABAKUS** »

Beitrag von **Anonymous** » 25.03.2009, 15:30

eine Sperrung per robots.txt bedeutet ja nur das er die site nicht spidern soll, kennen darf er sie dann aber..

les dir das mal durch: https://www.martins-meinung.de/2007/01/ ... wirkungen/

wenn sie nicht im index erscheinen soll, darfste sie nicht per robots.txt blocken, sondern musst sie auf noindex setzen...

Beitrag von **PanchoVilla** » 25.03.2009, 16:10

Komisch... Bei mir hat das seltsamerweise funktioniert. Das Thema hatten wir ja in einem anderen Thread schon einmal...

Beitrag von **turgay** » 25.03.2009, 16:25

Sie ist nur wirksam, solange die Seite nicht von außen verlinkt wird. Geschieht das, ist auf die robots.txt kein Verlass.

PanchoVilla hat geschrieben:Komisch... Bei mir hat das seltsamerweise funktioniert. Das Thema hatten wir ja in einem anderen Thread schon einmal...

Beitrag von **MuWi** » 25.03.2009, 16:37

So ein Schmarrn,

lest doch einmal was net(t)worker geschrieben hat:

Wenn ihr mit der robots.txt eine Seite, die bereits im Index ist, für Google sperrt, kann Google nicht mehr spidern - kennen darf man sie aber schon.

Das ist so wie wenn ihr dem Müllmann sagt "Bitte leeren Sie meine Mülltonne", das Ding aber fest verschlossen in der Garage steht.

Je nach Situation bieten sich da verschiedene HTTP Status Codes / noindex an.

Beitrag von **PanchoVilla** » 25.03.2009, 18:20

Toller Vergleich...

Abgesehen von deiner Pluralnutzung war meine Seiten bereits im Index, nichts desto trotz sind sie anschließend nach Blockierung durch die robots.txt aus dem Index geflogen.

Wenn du nun meine Aussage anzweifeln willst, viel Spaß...

Beitrag von **warry** » 25.03.2009, 18:51

Selbst 1 Jahr 404 schafften es bei mir nicht, solche Leichen aus dem Index zu schaufeln. Empfehle google webmastertools, dann dauerts meist nur ein paar Stunden.

Alternativ das hier lesen:
https://www.google.com/support/webmaste ... swer=64033

Führt einen zwangsläufig hierhin, womit man wohl (untested) auch fremde 404er aus dem Index werfen kann.
https://www.google.com/webmasters/tools/removals
(Google Konto braucht man dafür allerdings...)