Nicht ganz logisch, wie hast Du das gemeint?
Bin damit nicht so bewandert, doch wenn ich im Web suche oder im Buch nachschlage, dann liest sich da für mich so, als würdest Du in der ersten Zeile allen den Zugriff gestatten und in der zweiten wieder allen, einschließlich der Suchmaschinen, den Zugriff verweigern?
maxfragtmal hat geschrieben:Dies machte ich in der .htaccess mit
<files robots.txt>
order allow,deny
deny from all
</files>
Ich denke es müsste in etwa so aussehen:
Code: Alles auswählen
<files robots.txt>
order allow,deny
allow from all
deny from ... die Du verbieten möchtest aufführen
</files>
Ich würde es ohnehin gänzlich lassen, eine robots.txt, die nicht erreichbar ist, die ist so gut wie gar keine robots.txt.
Irgendwann werde ich das wohl auch mal testen, doch vorläufig habe ich das erst einmal so verstanden, braucht aber nicht richtig zu sein:
Code: Alles auswählen
order deny,allow => Reihenfolge festlegen
deny from all => diese werden alle abgewiesen
allow from ... => nur diesen wird der Zugriff gewährt
Code: Alles auswählen
order allow,deny => Reihenfolge festlegen
allow from all => all diesen wird der Zugriff gestattet
deny from ... => und diesen verweigert
Somit könnte eigentlich nur das unterste funktionieren
(nach meinen gegenwärtigen Verständnis) und da müsstest Du für Browser vermutlich noch Umgebungsvariablen setzen, um nur Browsern, jedoch nicht den Suchmaschinen den Zugriff zu verweigern.
https://buecher.lingoworld.de/apache2/s ... php?id=535
Halte es für ein sinnloses Unterfangen. Selbst wenn es Dir gelingen würde, nur die Browser auszusperren, wer die robots.txt auslesen möchte, weiß auch wie er einen beliebigen User Agent setzt.
Könnte schon sein, wenn die jetzt für alle gesperrt war, dass dadurch die Suchmaschinen nun Seiten eingelesen haben, die sie eigentlich nicht einlesen sollten.
Hier ist es noch einmal gut beschrieben:
https://de.selfhtml.org/servercgi/serve ... iche_namen