ABAKUS

Ich habe mich mal mit der robots & .htaccess versucht.

Es geht um folgenden Beispieldateien:
https://www.konzept-welt.de/tips/robots-txt.html
https://www.konzept-welt.de/tips/htaccess.html

Ich kann also mit den Dateien, Crawler und Programme ausperren, die ich nicht möchte.

Wäre es nicht einfacher, wenn man die Crawler und Programme eintragen würde, die meine Seite besuchen dürfen?

solbach hat geschrieben:Wäre es nicht einfacher, wenn man die Crawler und Programme eintragen würde, die meine Seite besuchen dürfen?

In der Praxis leider nicht, denn man kann nie sicher wissen mit welcher IP-Adresse bzw. Browserkennung der nächste Client (Robot oder Besucher) kommt, dem Du gerne den Zugriff auf Deiner Seite zulassen würdest.

Gruß
Hasso