ABAKUS

Verfasst: **05.03.2005, 15:09**

Wer hat den auch in seinen Logfiles gesichtet und was ist davon zu halten ?

212.227.48.190 - - [04/Mar/2005:01:22:48 +0100] "GET /robots.txt HTTP/1.1" 200 6305 "-" "SpiderJack (Version: 1.01, powered by LINUX Projekt)"

Verfasst: **06.03.2005, 18:49**

hallo,

hast du schon mal angeguckt, ob das dazu gehört?

https://www.spiderjack.de/

Er beachtet ja zumindest die robots und dann kannste ja entscheiden, ob du was auf deiner Seite hast, das du dort nicht finden willst

Verfasst: **06.03.2005, 19:27**

Ja, hab aber gehört, dass er die robots.txt nicht in allen Fällen beachtet. Hab ihn jetzt ausgesperrt.

ABAKUS

SpiderJack Vers. 1.01

SpiderJack Vers. 1.01

SpiderJack Vers. 1.01