was sind das für ein bots?

Beitrag von **beku** » 08.06.2004, 21:38

64 0.20% Yahoo! Slurp
52 0.18% ia_archiver
22 0.08% Steeler/2.0 (https://www.tkl.iis.u-tokyo.ac.jp/~crawler/)

Ist der Yahoo original oder eine kopie eines anderen Bots? weil was und wer ist Slurp?

von **Anzeige von ABAKUS** »

Beitrag von **Ste** » 08.06.2004, 21:46

slurp ist der yahoo bot,
der ia_archiver ist der bot von alexa

Beitrag von **bugscout** » 08.06.2004, 21:56

moin moin

und steeler ist der
https://www.tkl.iis.u-tokyo.ac.jp/~craw ... er.html.en

grüsse

Beitrag von **beku** » 08.06.2004, 22:10

yahoo ok aber die anderen beiden muss man glaube ich nicht crawlen lassen oder?

Beitrag von **bull** » 09.06.2004, 05:44

ia_archiver >> www.archive.org

kann sinnvoll sein muß aber nicht
Steeler - wozu?