Seite 1 von 1

was sind das für ein bots?

Verfasst: 08.06.2004, 21:38
von beku
64 0.20% Yahoo! Slurp
52 0.18% ia_archiver
22 0.08% Steeler/2.0 (https://www.tkl.iis.u-tokyo.ac.jp/~crawler/)

Ist der Yahoo original oder eine kopie eines anderen Bots? weil was und wer ist Slurp?

Verfasst:
von

Verfasst: 08.06.2004, 21:46
von Ste
slurp ist der yahoo bot,
der ia_archiver ist der bot von alexa

Verfasst: 08.06.2004, 21:56
von bugscout
moin moin

und steeler ist der
https://www.tkl.iis.u-tokyo.ac.jp/~craw ... er.html.en

grüsse

Verfasst: 08.06.2004, 22:10
von beku
yahoo ok aber die anderen beiden muss man glaube ich nicht crawlen lassen oder?

Verfasst: 09.06.2004, 05:44
von bull
ia_archiver >> www.archive.org

kann sinnvoll sein muß aber nicht
Steeler - wozu?