Seite 1 von 1
FAST Enterprise Crawler 6 used by T-Info BI cluster
Verfasst: 25.07.2005, 10:50
von bull
Code: Alles auswählen
84.167.74.190 - - [25/Jul/2005:08:53:2 +0200] "GET /foo/bar.htm HTTP/1.1" 200 5719 "http://www.domain.com/foo/" "FAST Enterprise Crawler 6 used by T-Info BI cluster (Silvio.Mueller@b-s-s.de)" "-"
84.167.89.17 - - [25/Jul/2005:08:54:06 +0200] "GET /as/p468.js HTTP/1.1" 200 423 "http://www.domain.com/foo/bar.htm" "FAST Enterprise Crawler 6 used by T-Info BI cluster (Silvio.Mueller@b-s-s.de)" "-"
Hat robots.txt geholt, und holt auch Javascript, und zwar auch solches, welches durch robots.txt eigentlich gesperrt ist.
Da mir das nicht gefiel --> 403.
Faked Referer.
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 14.08.2005, 18:07
von dongdong
um wie genau sperrt man den ?
Verfasst: 14.08.2005, 19:00
von dongdong
RewriteCond %{HTTP_USER_AGENT} FAST Enterprise Crawler [NC]
RewriteRule !robots\.txt - [F,L]
ist das so in ordung´?
FAST Enterprise Crawler 6 used by T-Info BI cluster
Verfasst: 16.08.2005, 22:16
von robo
RewriteCond %{HTTP_USER_AGENT} ^FAST\ Enterprise\ Crawler [NC]
cu, Robo
