hilfe robots.txt

Hilfe
in meiner statistik sehe ich immer das suchmaschinen nach einer nicht vorhandenen datei namesn "robots.txt" gesucht wird

was mach ich jetzt wo bekomme ich solche datei her?
und wie wichtig ist die robots.txt ?

Gruss Veronika

Manchmal ist es sinnvoll, bestimmte Seiten oder Bereiche einer Site vor der Indexierung zu schützen. Zum Beispiel dann, wenn es sich um Seiten handelt, die sich täglich ändern oder an denen noch gearbeitet wird. Auch Programmdateien, Bilder oder Logfiles will man vielleicht vor Robots schützen.

Das ist genau das, was ich selbst auch gemacht habe...
schau Dir mal die ABAKUS robots.txt datei an...

https://www.abakus-internet-marketing.de/robots.txt

Hier die gesamte Resource...

https://www.suchfibel.de/6gefunden/robotstxt.htm

Unten kannst Du Deine eigene robots.txt einfach generieren...
https://www.searchcode.de/robotstxt.php
Es gibt KEINEN Nachteil wenn Deine Seite kein robots.txt Datei hat. Sie hält zB. email sammel roboter auf und schützt "member" Bereiche vor dem Google cache oder anderen.