Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Google ignoriert robots

Dieses Forum ist für Informationen über Google gedacht (Ausser PageRank!).
Neues Thema Antworten
np
PostRank 6
PostRank 6
Beiträge: 415
Registriert: 16.08.2006, 15:57

Beitrag von np » 20.01.2008, 10:58

Bei einer Domain ignoriert Google vollkommen die robots oder hat ein Problem damit.

Alle ausgeschlossenen Verzeichnisse werden nach wie vor gespidert. Auch wenn ich eine ausgeschlossen URL in den webmastertools bei "robots analysiern" überprüfen, wird gemeldet dass der Googlebot zugelassen ist!

An was kann das liegen?

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Malte Landwehr
PostRank 10
PostRank 10
Beiträge: 3474
Registriert: 22.05.2005, 10:45

Beitrag von Malte Landwehr » 20.01.2008, 11:05

Dann zeig mal deine Robots.txt her. Wird vermutlich ein Fehler drin sein.
Die 45 wichtigsten SEO-Tools und wie ich sie nutze.

purzelonline
PostRank 5
PostRank 5
Beiträge: 261
Registriert: 23.02.2006, 23:00
Wohnort: Emmerich

Beitrag von purzelonline » 20.01.2008, 11:29

Hat hier jemand wirklich geglaubt, dass es Tante G interessiert, ob da ein Disallow in der robots.txt steht oder nicht?

Wer nicht will, das seine Inhalte gespidert werden, legt einfach eine htaccess an und sperrt Tante G aus :-)

Grüsse

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


np
PostRank 6
PostRank 6
Beiträge: 415
Registriert: 16.08.2006, 15:57

Beitrag von np » 20.01.2008, 12:35

purzelonline hat geschrieben:Hat hier jemand wirklich geglaubt, dass es Tante G interessiert, ob da ein Disallow in der robots.txt steht oder nicht?
Bei allen anderen Domains haben sich die Spider immer dran gehalten. Nur hier nicht - Fehler ist keiner drinnen!
purzelonline hat geschrieben:Wer nicht will, das seine Inhalte gespidert werden, legt einfach eine htaccess an und sperrt Tante G aus :-)
wie funktioniert das mit der htaccess wenn ich z.B. das Verzeichnis domain.de/admin/ aussperren will?

--Andy--
PostRank 7
PostRank 7
Beiträge: 637
Registriert: 09.11.2007, 21:43

Beitrag von --Andy-- » 20.01.2008, 12:42

Versuch mal über Webmastertools "URL entfernen". Das klappt bei mir recht fix – 1-2 Stunden und die Seite ist aus dem Index.

Anonymous

Beitrag von Anonymous » 20.01.2008, 13:27

in den methas der jeweiligen seite <META NAME="robots" CONTENT="NOINDEX,FOLLOW"> einfügen...

alles andere funzt nur solange, wie kein externer link auf diese unterseite verweist.

np
PostRank 6
PostRank 6
Beiträge: 415
Registriert: 16.08.2006, 15:57

Beitrag von np » 20.01.2008, 15:32

und wie macht man das in der htaccess wenn man ein verzeichnis für die robots aussperren will?
Ich dachte das geht nur über Passwortschutz, aber das bringt ja nix weil das Verzeichnis ja dann auch für die Besucher nicht zugänglich ist, oder?!?

purzelonline
PostRank 5
PostRank 5
Beiträge: 261
Registriert: 23.02.2006, 23:00
Wohnort: Emmerich

Beitrag von purzelonline » 20.01.2008, 17:24

Das mit der htaccess funktioniert in etwa so:

SetEnvIfNoCase Referer "^https://www.DeineSeite.de/" ref
Order Deny,Allow
Deny from all
Allow from env=ref

Die htaccess muss in das Verzeichnis, was geschützt werden soll.
Jetzt hat nur noch Deine Seite Zugriff, weil Du sie ja benennst.
Mach vorsichtshalber auch die IP-Adresse der Domain mit rein.

Bei mir klappt das wunderbar und Tante G bleibt draussen :-)

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag