Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

schonwieder fast (fresh)crawler!!!

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Freeboarder
PostRank 2
PostRank 2
Beiträge: 48
Registriert: 08.04.2005, 10:21
Wohnort: Schweiz

Beitrag von Freeboarder » 17.08.2005, 20:17

wie ich sehe gibt es offenbar ein neues fast (...)crawler problem :o

bei mir war folgender:

Code: Alles auswählen

Host: 81.93.165.151   /robots.txt  
  Http Code: 200  Date: Aug 17 16:31:17  Http Version: HTTP/1.1  Size in Bytes: 188  
  Referer: -  
  Agent: schibstedsokbot (compatible; Mozilla/5.0; MSIE 5.0; FAST FreshCrawler 6; Contact: webcrawl@schibstedsok.no;)  
 
 |  
 |  
 |  
   /  
  Http Code: 200  Date: Aug 17 16:31:17  Http Version: HTTP/1.1  Size in Bytes: 2184  
  Referer: http://www.urlgeändert.com/links_weiterleiten.asp?url=http://www.meineurl.biz/  
  Agent: schibstedsokbot (compatible; Mozilla/5.0; MSIE 5.0; FAST FreshCrawler 6; Contact: webcrawl@schibstedsok.no;)  
 
Die Url gibt mir keinen schlauen anhaltspunkt über den nutzen für mich.

Deshalb werde ich die htacces nach UA schibstedsok.no sperren.

MfG

FB

:idea:
Suche immer seriöse Linkpartner: Linkpartner Fellmann.biz