Seite 1 von 1
SpiderJack Vers. 1.01
Verfasst: 05.03.2005, 15:09
von Luckybuy3000
Wer hat den auch in seinen Logfiles gesichtet und was ist davon zu halten ?
212.227.48.190 - - [04/Mar/2005:01:22:48 +0100] "GET /robots.txt HTTP/1.1" 200 6305 "-" "SpiderJack (Version: 1.01, powered by LINUX Projekt)"
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 06.03.2005, 18:49
von fool
hallo,
hast du schon mal angeguckt, ob das dazu gehört?
https://www.spiderjack.de/
Er beachtet ja zumindest die robots und dann kannste ja entscheiden, ob du was auf deiner Seite hast, das du dort nicht finden willst
SpiderJack Vers. 1.01
Verfasst: 06.03.2005, 19:27
von Luckybuy3000
Ja, hab aber gehört, dass er die robots.txt nicht in allen Fällen beachtet. Hab ihn jetzt ausgesperrt.
