Habe immer als 404er dass die robot.txt nicht gefunden wird.
Hab bisher auch keine eingerichtet.
Deshalb jetzt meine Frage, wie wichtig ist eine robot.txt? oder reicht es einfach nur im head-Bereich wenn etwas nicht gecrawlt werden soll? Wundere mich nur, weshalb überhaupt die robot.txt aufgerufen wird? Ist das Standard bei den spiders? oder muss da irgendwo was falsches angegeben sein`?
Würde mich freuen, wenn ihr mir helfen könnt.
Archiv
Darüber könnte man allein Stunden referieren.
Dann werd ich das mal besser anlegen und draufstellen.