Seite 1 von 1
Google ignoriert robots
Verfasst: 20.01.2008, 10:58
von np
Bei einer Domain ignoriert Google vollkommen die robots oder hat ein Problem damit.
Alle ausgeschlossenen Verzeichnisse werden nach wie vor gespidert. Auch wenn ich eine ausgeschlossen URL in den webmastertools bei "robots analysiern" überprüfen, wird gemeldet dass der Googlebot zugelassen ist!
An was kann das liegen?
Verfasst:
von
Content Erstellung von
ABAKUS Internet Marketing
Ihre Vorteile:
- einzigartige Texte
- suchmaschinenoptimierte Inhalte
- eine sinnvolle Content-Strategie
- Beratung und Umsetzung
Jetzt anfragen:
0511 / 300325-0
Verfasst: 20.01.2008, 11:05
von Malte Landwehr
Dann zeig mal deine Robots.txt her. Wird vermutlich ein Fehler drin sein.
Verfasst: 20.01.2008, 11:29
von purzelonline
Hat hier jemand wirklich geglaubt, dass es Tante G interessiert, ob da ein Disallow in der robots.txt steht oder nicht?
Wer nicht will, das seine Inhalte gespidert werden, legt einfach eine htaccess an und sperrt Tante G aus
Grüsse
Verfasst: 20.01.2008, 12:35
von np
purzelonline hat geschrieben:Hat hier jemand wirklich geglaubt, dass es Tante G interessiert, ob da ein Disallow in der robots.txt steht oder nicht?
Bei allen anderen Domains haben sich die Spider immer dran gehalten. Nur hier nicht - Fehler ist keiner drinnen!
purzelonline hat geschrieben:Wer nicht will, das seine Inhalte gespidert werden, legt einfach eine htaccess an und sperrt Tante G aus
wie funktioniert das mit der htaccess wenn ich z.B. das Verzeichnis domain.de/admin/ aussperren will?
Verfasst: 20.01.2008, 12:42
von --Andy--
Versuch mal über Webmastertools "URL entfernen". Das klappt bei mir recht fix – 1-2 Stunden und die Seite ist aus dem Index.
Verfasst: 20.01.2008, 13:27
von Ehemalige Nutzer Z
in den methas der jeweiligen seite <META NAME="robots" CONTENT="NOINDEX,FOLLOW"> einfügen...
alles andere funzt nur solange, wie kein externer link auf diese unterseite verweist.
Verfasst: 20.01.2008, 15:32
von np
und wie macht man das in der htaccess wenn man ein verzeichnis für die robots aussperren will?
Ich dachte das geht nur über Passwortschutz, aber das bringt ja nix weil das Verzeichnis ja dann auch für die Besucher nicht zugänglich ist, oder?!?
Verfasst: 20.01.2008, 17:24
von purzelonline
Das mit der htaccess funktioniert in etwa so:
SetEnvIfNoCase Referer "^
https://www.DeineSeite.de/" ref
Order Deny,Allow
Deny from all
Allow from env=ref
Die htaccess muss in das Verzeichnis, was geschützt werden soll.
Jetzt hat nur noch Deine Seite Zugriff, weil Du sie ja benennst.
Mach vorsichtshalber auch die IP-Adresse der Domain mit rein.
Bei mir klappt das wunderbar und Tante G bleibt draussen
