Seite 1 von 1

Metasearch Crawler/1.0

Verfasst: 15.03.2007, 15:11
von mikkido
Hallo,

hat jemand den im Titel genannten Bot schon in seinen Logfiles gesehen? Gestern versuchte er meinen Content zu saugen wo dann allerdings nach 5 Seiten (nach einer Sekunde) Schluss war.

Der kam von dieser IP: 62.214.55.197

Der ReversDns war nweb-8835-secn-79480.strategy-ventures.com

Hat nach der Sperre noch versucht ein paar weitere Seiten zu saugen und dann kam er bislang noch nicht wieder.

Liebe Gruesse
Michael

Verfasst:
von
Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Verfasst: 15.03.2007, 16:04
von Hasso
Hallo Michael, mir persönlich ist dieser Robot noch nicht aufgefallen, meiner Recherchen nach scheint er auch anderweitig im WWW nicht wirklich verbreitet zu sein.
Aufgrund der IP-Adresse und dem Verhalten, tippe ich auf „experimentelle Versuche zu crawlen"...

Gruß
Hasso

Verfasst: 15.03.2007, 19:06
von mikkido
Hallo Hasso,

wenn Du aber nur nach dem Domainnamen suchst findest Du einige Seiten wo er in der Statistik aufgeführt ist, mit underschiedlichen IP-Adressen :-)

Aber Du hast Recht, da gibt es Bots die sicherlich wesentlich mehr verbreitet sind als dieser! :-) Er ist eben nur aufgefallen weil er sich nicht wie ein normaler Nutzer verhalten hat :-) Immerhin, in dieser einen Sekunde saugen hat er auch zuerst noch die Robots.txt gelesen :-)

Liebe Gruesse
Michael