Google ignoriert robots

Beitrag von np » 20.01.2008, 10:58

Bei einer Domain ignoriert Google vollkommen die robots oder hat ein Problem damit.

Alle ausgeschlossenen Verzeichnisse werden nach wie vor gespidert. Auch wenn ich eine ausgeschlossen URL in den webmastertools bei "robots analysiern" überprüfen, wird gemeldet dass der Googlebot zugelassen ist!

An was kann das liegen?

von **Anzeige von ABAKUS** »

Beitrag von **Malte Landwehr** » 20.01.2008, 11:05

Dann zeig mal deine Robots.txt her. Wird vermutlich ein Fehler drin sein.

Beitrag von **purzelonline** » 20.01.2008, 11:29

Hat hier jemand wirklich geglaubt, dass es Tante G interessiert, ob da ein Disallow in der robots.txt steht oder nicht?

Wer nicht will, das seine Inhalte gespidert werden, legt einfach eine htaccess an und sperrt Tante G aus

Grüsse

von **Anzeige von ABAKUS** »

Beitrag von np » 20.01.2008, 12:35

purzelonline hat geschrieben:Hat hier jemand wirklich geglaubt, dass es Tante G interessiert, ob da ein Disallow in der robots.txt steht oder nicht?

Bei allen anderen Domains haben sich die Spider immer dran gehalten. Nur hier nicht - Fehler ist keiner drinnen!

purzelonline hat geschrieben:Wer nicht will, das seine Inhalte gespidert werden, legt einfach eine htaccess an und sperrt Tante G aus

wie funktioniert das mit der htaccess wenn ich z.B. das Verzeichnis domain.de/admin/ aussperren will?

Beitrag von **--Andy--** » 20.01.2008, 12:42

Versuch mal über Webmastertools "URL entfernen". Das klappt bei mir recht fix – 1-2 Stunden und die Seite ist aus dem Index.

Beitrag von **Anonymous** » 20.01.2008, 13:27

in den methas der jeweiligen seite <META NAME="robots" CONTENT="NOINDEX,FOLLOW"> einfügen...

alles andere funzt nur solange, wie kein externer link auf diese unterseite verweist.

Beitrag von np » 20.01.2008, 15:32

und wie macht man das in der htaccess wenn man ein verzeichnis für die robots aussperren will?
Ich dachte das geht nur über Passwortschutz, aber das bringt ja nix weil das Verzeichnis ja dann auch für die Besucher nicht zugänglich ist, oder?!?

Beitrag von **purzelonline** » 20.01.2008, 17:24

Das mit der htaccess funktioniert in etwa so:

SetEnvIfNoCase Referer "^https://www.DeineSeite.de/" ref
Order Deny,Allow
Deny from all
Allow from env=ref

Die htaccess muss in das Verzeichnis, was geschützt werden soll.
Jetzt hat nur noch Deine Seite Zugriff, weil Du sie ja benennst.
Mach vorsichtshalber auch die IP-Adresse der Domain mit rein.

Bei mir klappt das wunderbar und Tante G bleibt draussen