msnbot spidert seit Tagen über 500 Mal am Tag die index.php

[derExperte]

Irgendwie kann es doch nicht so schwer sein, einen halbwegs korrekt funktionierenden Spider bzw. Robot zu programmieren?!? Seit über einer Woche habe ich pro Tag auf verschiedenen Domains über 500 bot-Besuche der index-Seite.

Erschreckend ist vor allem, daß die entsprechenden Seiten sich nicht ändern, sondern komplett statisch sind. Die Unterseiten werden alle korrekt verfolgt (also halt nicht so sinnlos oft!).

Es scheint fast so, als würden die Backlinks zur Startseite immer wieder aufs neue verfolgt.

Mal sehen, wann dieses Problem gelöst wird?

[docc]

hast du vielleicht links von außen, die per 302/1 redirects kommen? das würde das phänomen erklären

[derExperte]

nein, kann eigentlich nicht sein. Zumindest nicht von mir! Außerdem sollten die Redirects ja auch nach einer gewissen Zeit erkannt werden?!?

[fkubis]

kann ich bestätigen holt sich jedentag hunderte Male die index, auch wenns statisch ist.

Na ja Version 0.11, da ist noch viel zu tun