Hi,
der macht mir heute rund 3/4 meines traffic, spidert so ziemlich alle (Unter-) Seiten auf einmal, was ja für einen Suchmaschinenrobot eher ungewöhnlich wäre.
Google-Suche ergibt zwei Seiten, die das Ding aus Prinzip ausschließen, weil sie nicht wissen, was es tut (aber die schließen wohl aus demselben Grund auch den Linkwalker-Robot aus, der durchaus eine Funktion und Berechtigung zu haben scheint, das kann ja auch nicht die Lösung sein, am Schluß hat die .htaccess mehr Inhalt als der Rest der Site). Ansonsten findet man nur Leute, die ihre Logs frei im Netz stehen haben (...).
Von wem ist das Ding, und was tut es???
Gruß,
Mac
Archiv