Robots.txt für Besucher sperren

Beitrag von **Waldeule** » 30.11.2003, 16:28

Hallo!

Ich würde gerne den Zugriff auf meine robots.txt für die Besucher meiner
Seite sperren. Ist das per htaccess möglich, so dass die Suchmaschinen-Spider die robots.txt noch finden, und wenn ja, wie?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Halli** » 01.12.2003, 01:09

Waldeule,

wozu soll das denn gut sein ??? Wenn Du einzelne Unterverzeichnisse Deiner Domain gegen freie Besucherzugriffe sperren willst. o.k. das seh ich ein. Aber die robots.txt selbst ??? Ich meine, das macht keinen Sinn!

Beitrag von RW » 01.12.2003, 09:40

Per htaccess den Referer auswerten und eine Liste der zugelassenden Suma einbauen. Diese Regel trifft dann nur auf deine Robots.TXT zu.

Wobei man einen Referer (auch IP ) vortäuschen kann. Also wenn Jemand Deine "geschützten Bereich" sehen will macht er es.

www.webmasterworld.com/forum92/323-2-15.htm

RW