FAST Enterprise Crawler 6 used by T-Info BI cluster

Beitrag von **bull** » 25.07.2005, 10:50

84.167.74.190 - - &#91;25/Jul/2005&#58;08&#58;53&#58;2 +0200&#93; "GET /foo/bar.htm HTTP/1.1" 200 5719 "http&#58;//www.domain.com/foo/" "FAST Enterprise Crawler 6 used by T-Info BI cluster &#40;Silvio.Mueller@b-s-s.de&#41;" "-"
84.167.89.17 - - &#91;25/Jul/2005&#58;08&#58;54&#58;06 +0200&#93; "GET /as/p468.js HTTP/1.1" 200 423 "http&#58;//www.domain.com/foo/bar.htm" "FAST Enterprise Crawler 6 used by T-Info BI cluster &#40;Silvio.Mueller@b-s-s.de&#41;" "-"

Hat robots.txt geholt, und holt auch Javascript, und zwar auch solches, welches durch robots.txt eigentlich gesperrt ist.
Da mir das nicht gefiel --> 403.
Faked Referer.

von **Anzeige von ABAKUS** »

Beitrag von **dongdong** » 14.08.2005, 18:07

um wie genau sperrt man den ?

Beitrag von **dongdong** » 14.08.2005, 19:00

RewriteCond %{HTTP_USER_AGENT} FAST Enterprise Crawler [NC]
RewriteRule !robots\.txt - [F,L]

ist das so in ordung´?

Beitrag von **robo** » 16.08.2005, 22:16

RewriteCond %{HTTP_USER_AGENT} ^FAST\ Enterprise\ Crawler [NC]

cu, Robo