schonwieder fast (fresh)crawler!!!

[Freeboarder]

wie ich sehe gibt es offenbar ein neues fast (...)crawler problem

bei mir war folgender:

Code: Alles auswählen

Host: 81.93.165.151   /robots.txt  
  Http Code: 200  Date: Aug 17 16:31:17  Http Version: HTTP/1.1  Size in Bytes: 188  
  Referer: -  
  Agent: schibstedsokbot (compatible; Mozilla/5.0; MSIE 5.0; FAST FreshCrawler 6; Contact: webcrawl@schibstedsok.no;)  
 
 |  
 |  
 |  
   /  
  Http Code: 200  Date: Aug 17 16:31:17  Http Version: HTTP/1.1  Size in Bytes: 2184  
  Referer: http://www.urlgeändert.com/links_weiterleiten.asp?url=http://www.meineurl.biz/  
  Agent: schibstedsokbot (compatible; Mozilla/5.0; MSIE 5.0; FAST FreshCrawler 6; Contact: webcrawl@schibstedsok.no;)  
 

Die Url gibt mir keinen schlauen anhaltspunkt über den nutzen für mich.

Deshalb werde ich die htacces nach UA schibstedsok.no sperren.

MfG

FB

[bull]

Gehört zu Aftenposten.no , einer norwegischen News-Seite.

Siehe auch https://www.webmasterworld.com/forum11/2918.htm