Ich habe mich mal mit der robots & .htaccess versucht.
Es geht um folgenden Beispieldateien:
https://www.konzept-welt.de/tips/robots-txt.html
https://www.konzept-welt.de/tips/htaccess.html
Ich kann also mit den Dateien, Crawler und Programme ausperren, die ich nicht möchte.
Wäre es nicht einfacher, wenn man die Crawler und Programme eintragen würde, die meine Seite besuchen dürfen?
Archiv
