ABAKUS

purzelonline hat geschrieben:Hat hier jemand wirklich geglaubt, dass es Tante G interessiert, ob da ein Disallow in der robots.txt steht oder nicht?

Bei allen anderen Domains haben sich die Spider immer dran gehalten. Nur hier nicht - Fehler ist keiner drinnen!

purzelonline hat geschrieben:Wer nicht will, das seine Inhalte gespidert werden, legt einfach eine htaccess an und sperrt Tante G aus

wie funktioniert das mit der htaccess wenn ich z.B. das Verzeichnis domain.de/admin/ aussperren will?

Versuch mal über Webmastertools "URL entfernen". Das klappt bei mir recht fix – 1-2 Stunden und die Seite ist aus dem Index.

in den methas der jeweiligen seite <META NAME="robots" CONTENT="NOINDEX,FOLLOW"> einfügen...

alles andere funzt nur solange, wie kein externer link auf diese unterseite verweist.

und wie macht man das in der htaccess wenn man ein verzeichnis für die robots aussperren will?
Ich dachte das geht nur über Passwortschutz, aber das bringt ja nix weil das Verzeichnis ja dann auch für die Besucher nicht zugänglich ist, oder?!?

Das mit der htaccess funktioniert in etwa so:

SetEnvIfNoCase Referer "^https://www.DeineSeite.de/" ref
Order Deny,Allow
Deny from all
Allow from env=ref

Die htaccess muss in das Verzeichnis, was geschützt werden soll.
Jetzt hat nur noch Deine Seite Zugriff, weil Du sie ja benennst.
Mach vorsichtshalber auch die IP-Adresse der Domain mit rein.

Bei mir klappt das wunderbar und Tante G bleibt draussen