Metasearch Crawler/1.0

Beitrag von **mikkido** » 15.03.2007, 15:11

Hallo,

hat jemand den im Titel genannten Bot schon in seinen Logfiles gesehen? Gestern versuchte er meinen Content zu saugen wo dann allerdings nach 5 Seiten (nach einer Sekunde) Schluss war.

Der kam von dieser IP: 62.214.55.197

Der ReversDns war nweb-8835-secn-79480.strategy-ventures.com

Hat nach der Sperre noch versucht ein paar weitere Seiten zu saugen und dann kam er bislang noch nicht wieder.

Liebe Gruesse
Michael

von **Anzeige von ABAKUS** »

Beitrag von **Hasso** » 15.03.2007, 16:04

Hallo Michael, mir persönlich ist dieser Robot noch nicht aufgefallen, meiner Recherchen nach scheint er auch anderweitig im WWW nicht wirklich verbreitet zu sein.
Aufgrund der IP-Adresse und dem Verhalten, tippe ich auf „experimentelle Versuche zu crawlen"...

Gruß
Hasso

Beitrag von **mikkido** » 15.03.2007, 19:06

Hallo Hasso,

wenn Du aber nur nach dem Domainnamen suchst findest Du einige Seiten wo er in der Statistik aufgeführt ist, mit underschiedlichen IP-Adressen

Aber Du hast Recht, da gibt es Bots die sicherlich wesentlich mehr verbreitet sind als dieser!

Er ist eben nur aufgefallen weil er sich nicht wie ein normaler Nutzer verhalten hat

Immerhin, in dieser einen Sekunde saugen hat er auch zuerst noch die Robots.txt gelesen

Liebe Gruesse
Michael