Die Links sind in folgender Form geschrieben.
<a href="/test.htm"> test <a>
und
<a href="https://www.bsp.de/test.htm">test<a>
Immer wenn ich dann eine Seite in google anmelde gebe ich die URL wie folgt ein https://www.bsp.de/
Meine Robots.txt liegt immer im Rootverzeichnis d.h. https://www.bsp.de/robots.txt
aber warum Spidered google meine Seiten nicht

Ich bin verzweifelt und hoffe jemand kann mir helfen.