Robots aussprerren

Beitrag von **qualitaet** » 20.02.2006, 13:23

Hallo,

erstelle gerade neue Webseiten, diesmal aber schon auf dem Server...abgelegt....

wie kann man die robots aussperren?
nur einzelne Ordner, ganze Domain?

danke.

gruß

Qualitaet

von **Anzeige von ABAKUS** »

Beitrag von **matin** » 20.02.2006, 13:48

einzelne ornder per robots.txt z b:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /ordner1/
Disallow&#58; /ordner2/

ganze domain:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /

da sich manche spider nicht an die robots.txt halten, wäre eine aussperrung per .htaccess besser

Beitrag von **matin** » 20.02.2006, 13:48

hier das tool zum automatischen erstellen der robots.txt
https://www.searchcode.de/robotstxt.php

Beitrag von **qualitaet** » 24.02.2006, 01:11

spitze antwort.... danke jungs...