Seite 1 von 1

mozDex/0.04-dev und lwp-trivial/1.40

Verfasst: 19.05.2004, 19:15
von xcalvinx
Guten Abend!

heute kamen 4 Bots bei mir vorbei, wobei ich mich bei zweien frage, woher sie kommen:

mozDex/0.04-dev und lwp-trivial/1.40

weiss jemand woher die kommen?

Komischerweise war der msnbot auch schon 3 mal in den letzten Tagen vorbei. ca. 700k gecrawlt aber die HP ist noch nicht im msn-index. Wie ist verläuft das Indexen bei msn?

Abendlich Grüße,
xcx

Verfasst:
von

Verfasst: 25.05.2004, 09:02
von viggen
hallo xcalvinx,

lwp-trivial ist ein Perl Modul, und für mozDex/0.04-dev schau mal da vorbei

https://www.mozdex.com/bot.html

mfg
viggen

Verfasst: 25.05.2004, 10:38
von dirk
Komischerweise war der msnbot auch schon 3 mal in den letzten Tagen vorbei. ca. 700k gecrawlt aber die HP ist noch nicht im msn-index. Wie ist verläuft das Indexen bei msn?
Um das auch nochmal eben zu klären : der MSNBOT spidert bereits fleissig für die neue MSN-Suma, die aber noch nicht online ist. Das Teil ist quasi der Vorbote ...

Verfasst: 13.07.2004, 12:55
von Wuppi
Hi

dieser lwp-trivial war bei mir jetzt auch mal zu besuch - Perl-Modul? Und was macht das? Wofür ist der bot gut?

Bis denne
Wuppi

Verfasst: 13.07.2004, 13:04
von dirk
lwp trivial ist der default useragent von diveresen Perlmodulen wie z.B. LWP::Simple oder LWP::UserAgent.

Mit einem Script ala

use LWP::Simple ;
$html = get("https://www.numismatikforum.de") ;

würde perl z.B. den Inhalt Deiner Seite via HTTP-GET in die Variable $html einlesen. Der useragent in Deinem log wäre dann idR. lwp-trivial.

Verfasst: 13.07.2004, 14:10
von Wuppi
Hi

axo - thx! Jetzt weiß ich auch wer das ist - hab mich bei einer Seite angemeldet, die hat aber Backlink-Check gemacht. Der wars dann wohl.

Danke
Wuppi