Seite 1 von 1
mozDex/0.04-dev und lwp-trivial/1.40
Verfasst: 19.05.2004, 19:15
von xcalvinx
Guten Abend!
heute kamen 4 Bots bei mir vorbei, wobei ich mich bei zweien frage, woher sie kommen:
mozDex/0.04-dev und lwp-trivial/1.40
weiss jemand woher die kommen?
Komischerweise war der msnbot auch schon 3 mal in den letzten Tagen vorbei. ca. 700k gecrawlt aber die HP ist noch nicht im msn-index. Wie ist verläuft das Indexen bei msn?
Abendlich Grüße,
xcx
Verfasst: 25.05.2004, 09:02
von viggen
hallo xcalvinx,
lwp-trivial ist ein Perl Modul, und für mozDex/0.04-dev schau mal da vorbei
https://www.mozdex.com/bot.html
mfg
viggen
Verfasst: 25.05.2004, 10:38
von dirk
Komischerweise war der msnbot auch schon 3 mal in den letzten Tagen vorbei. ca. 700k gecrawlt aber die HP ist noch nicht im msn-index. Wie ist verläuft das Indexen bei msn?
Um das auch nochmal eben zu klären : der MSNBOT spidert bereits fleissig für die neue MSN-Suma, die aber noch nicht online ist. Das Teil ist quasi der Vorbote ...
Verfasst: 13.07.2004, 12:55
von Wuppi
Hi
dieser lwp-trivial war bei mir jetzt auch mal zu besuch - Perl-Modul? Und was macht das? Wofür ist der bot gut?
Bis denne
Wuppi
Verfasst: 13.07.2004, 13:04
von dirk
lwp trivial ist der default useragent von diveresen Perlmodulen wie z.B. LWP::Simple oder LWP::UserAgent.
Mit einem Script ala
use LWP::Simple ;
$html = get("
https://www.numismatikforum.de") ;
würde perl z.B. den Inhalt Deiner Seite via HTTP-GET in die Variable $html einlesen. Der useragent in Deinem log wäre dann idR. lwp-trivial.
Verfasst: 13.07.2004, 14:10
von Wuppi
Hi
axo - thx! Jetzt weiß ich auch wer das ist - hab mich bei einer Seite angemeldet, die hat aber Backlink-Check gemacht. Der wars dann wohl.
Danke
Wuppi