Irgendwie kann es doch nicht so schwer sein, einen halbwegs korrekt funktionierenden Spider bzw. Robot zu programmieren?!? Seit über einer Woche habe ich pro Tag auf verschiedenen Domains über 500 bot-Besuche der index-Seite.
Erschreckend ist vor allem, daß die entsprechenden Seiten sich nicht ändern, sondern komplett statisch sind. Die Unterseiten werden alle korrekt verfolgt (also halt nicht so sinnlos oft!).
Es scheint fast so, als würden die Backlinks zur Startseite immer wieder aufs neue verfolgt.
Mal sehen, wann dieses Problem gelöst wird?
Archiv
