mozDex/0.04-dev und lwp-trivial/1.40

[xcalvinx]

Guten Abend!

heute kamen 4 Bots bei mir vorbei, wobei ich mich bei zweien frage, woher sie kommen:

mozDex/0.04-dev und lwp-trivial/1.40

weiss jemand woher die kommen?

Komischerweise war der msnbot auch schon 3 mal in den letzten Tagen vorbei. ca. 700k gecrawlt aber die HP ist noch nicht im msn-index. Wie ist verläuft das Indexen bei msn?

Abendlich Grüße,
xcx

[viggen]

hallo xcalvinx,

lwp-trivial ist ein Perl Modul, und für mozDex/0.04-dev schau mal da vorbei

https://www.mozdex.com/bot.html

mfg
viggen

[dirk]

Komischerweise war der msnbot auch schon 3 mal in den letzten Tagen vorbei. ca. 700k gecrawlt aber die HP ist noch nicht im msn-index. Wie ist verläuft das Indexen bei msn?

Um das auch nochmal eben zu klären : der MSNBOT spidert bereits fleissig für die neue MSN-Suma, die aber noch nicht online ist. Das Teil ist quasi der Vorbote ...

[Wuppi]

Hi

dieser lwp-trivial war bei mir jetzt auch mal zu besuch - Perl-Modul? Und was macht das? Wofür ist der bot gut?

Bis denne
Wuppi

[dirk]

lwp trivial ist der default useragent von diveresen Perlmodulen wie z.B. LWP::Simple oder LWP::UserAgent.

Mit einem Script ala

use LWP::Simple ;
$html = get("https://www.numismatikforum.de") ;

würde perl z.B. den Inhalt Deiner Seite via HTTP-GET in die Variable $html einlesen. Der useragent in Deinem log wäre dann idR. lwp-trivial.

[Wuppi]

Hi

axo - thx! Jetzt weiß ich auch wer das ist - hab mich bei einer Seite angemeldet, die hat aber Backlink-Check gemacht. Der wars dann wohl.

Danke
Wuppi