Was stimmt mit Slurp nicht

[reikje]

Hab jeden Tag Zugriffe auf die robots.txt lande aber nicht im Index obwohl da alles erlaubt ist. Habt Ihr ähnliche Probleme?

[goldie]

hallo reikje,

das ist zwar nicht konkret die antwort auf deine frage, aber das slurp zur zeit etwas bekifft durchs web rennt habe ich hier auch schonmal erwähnt --> https://www.abakus-internet-marketing.d ... -6432.html

greetz
goldie

[reikje]

Hab jetzt mal meine serverseitigen Redirect, response.sendRedirect(..), auf <jsp:forward> umgestellt. Vielleicht macht der Yahoo Bot das besser mit. Googlebot wars egal, naja mal sehen. Wenns was bringt poste ich nochmal.