Hier möcht ich jedoch die Forengemeinde informieren auf was der Bot hört.
User-agent: smartsuche.de-crawl
Disallow: * # Meine komplette WebSite nicht Spidern
Disallow: /verzeichnis/ # Dies ist mein geheimes Verzeichnis
Disallow: /privat/hobby.html # Nicht hobby.html im privat Verzeichnis spidern
Disallow: /testseite.html # Testseite im Rootverzeichnis nicht spidern
Ich denke Disallow Anweisungen sind bekannt, und der Spider reagiert auf:
User-agent: smartsuche.de-crawl
sowie auf
User-agent: * # Alle Spider
Ebenfalls nicht indexiert werden Inhalte mit dem Robots-Tag noindex