SpiderJack Vers. 1.01

Beitrag von **Luckybuy3000** » 05.03.2005, 15:09

Wer hat den auch in seinen Logfiles gesichtet und was ist davon zu halten ?

212.227.48.190 - - [04/Mar/2005:01:22:48 +0100] "GET /robots.txt HTTP/1.1" 200 6305 "-" "SpiderJack (Version: 1.01, powered by LINUX Projekt)"

von **Anzeige von ABAKUS** »

Beitrag von **fool** » 06.03.2005, 18:49

hallo,

hast du schon mal angeguckt, ob das dazu gehört?

https://www.spiderjack.de/

Er beachtet ja zumindest die robots und dann kannste ja entscheiden, ob du was auf deiner Seite hast, das du dort nicht finden willst

Beitrag von **Luckybuy3000** » 06.03.2005, 19:27

Ja, hab aber gehört, dass er die robots.txt nicht in allen Fällen beachtet. Hab ihn jetzt ausgesperrt.