boitho.com-robot/1.1
Verfasst: 11.08.2003, 14:58
Boitho.com-robot/1.1
Spider von der norwegischen (auch englische Seiten werden gespidert und im index aufgenommen) Suchmaschine https://www.boitho.com/index.htm.en
beachtet Robots.txt
bekannte IP: 217.118.38.XXX
Um diesen Robot von Ihrer Seite zu bannen geben sie folgende Zeile in Ihre Robots.txt ein
user-agent: boitho.com-robot???
disallow: /
falls noch jemand was hinzufügen möchte bitte nur zu
wegen dem dissalow nicht sicher da noch nicht getestet
Spider von der norwegischen (auch englische Seiten werden gespidert und im index aufgenommen) Suchmaschine https://www.boitho.com/index.htm.en
beachtet Robots.txt
bekannte IP: 217.118.38.XXX
Um diesen Robot von Ihrer Seite zu bannen geben sie folgende Zeile in Ihre Robots.txt ein
user-agent: boitho.com-robot???
disallow: /
falls noch jemand was hinzufügen möchte bitte nur zu
wegen dem dissalow nicht sicher da noch nicht getestet