Hallo, weiß jemand hier, wo man eine aktualisierte Robostats Bot Datenbank herbekommt?
Ein Bot spidert zb nur meine Startseite aber keine weitere, woran kann das liegen?
was kann ich sonst für schlüsse aus den Stats ziehen?
ich sehe welche seiten gespidert werden, und dadurch natürlich auch welche nicht. aber wie bekomme ich es hin, dass der bot auch mal die anderen seiten anspidert?
danke für eure antworten
Archiv
