hm, sowas schreibt er
Informationen über unseren TheSuBot™
Wenn Sie in einer unserer Themen Suchmaschinen gelistet sein sollten und dies nicht wünschen, so können Sie durch das Anwenden einer sogenannten "robots.txt" Datei unserem Bot durch einen entsprechenden Eintrag mitteilen, dass wir entsprechende Domains aus unserer Datenbank entfernen sollen.
Der durch uns verwendete Suchmaschinen-Bot nennt sich "thesubot". Sie können daher in Ihrer "robots.txt" Datei den folgenden Eintrag hinzufügen:
User-agent: thesubot
Disallow: /
Bereits beim nächsten Update unserer Themen Suchmaschine welches regelmässig alle 2-5 Tage durchgeführt wird, werden die jeweiligen Domains nebst Unterseiten fortan nicht mehr von unserem Bot berücksichtigt.
Das robots.txt Verfahren ist ein internationaler Standard zur Steuerung von Suchmaschinen Robots.
Mehr Informationen hierzu finden Sie unter
https://www.robotstxt.org/wc/robots.html
Da sich unser Bot derzeit noch im Beta Stadium befindet, können Fehler noch nicht ausgeschlossen sein. Wir bitten in solchen Fällen um eine kurze Email damit wir derartige Fehler beseitigen können.
Kannst auch mal nach Googlen...