ABAKUS

Das ist der Bot von www.smartsuche.de der nichts böses im Schilde führt...
Hier möcht ich jedoch die Forengemeinde informieren auf was der Bot hört.

User-agent: smartsuche.de-crawl
Disallow: * # Meine komplette WebSite nicht Spidern
Disallow: /verzeichnis/ # Dies ist mein geheimes Verzeichnis
Disallow: /privat/hobby.html # Nicht hobby.html im privat Verzeichnis spidern
Disallow: /testseite.html # Testseite im Rootverzeichnis nicht spidern

Ich denke Disallow Anweisungen sind bekannt, und der Spider reagiert auf:
User-agent: smartsuche.de-crawl
sowie auf
User-agent: * # Alle Spider

Ebenfalls nicht indexiert werden Inhalte mit dem Robots-Tag noindex