robots.txt schützen?

[Klaus]

Hey, das klingt gut.
Werde ich mal anpassen.
Sage dann Bescheid.
Gruß
Klaus

[Klaus]

Hei.
Ich habe da noch eine grundsätzliche Frage:
Wenn also die robots.txt von den Spidern zuerst ausgelesen wird...
Und dann zu index.html gesprungen wird...
Von dort folgt ein Spider also den Links...

Ist es richtig, dass:
wenn kein Link auf Verzeichnis-x verweist, wird Verzeichnis-x auch vom Spider nicht "besucht" und indexiert?

Ist das so?

Danke und Gruß
Klaus

[bugscout]

moin klaus,

so ist´s

grüsse

[pi-de]

Eine robots.txt kann man nicht schützen.
Das ist eine Textdatei, da kann man definitiv mit php o.ä. nichts machen.

Damit Ordner nicht ausgelesen werden können, wenn keine index-Seite enthalten ist, kann man eine einfache index.html mit einem meta-refresh mit 0 auf die Hauptseite setzen, oder man ändert direkt die Serverkonfigurationen wenn möglich.
Es gibt noch viele Hoster die das auslesen von Ordnern standardmäßig zulassen.

Und wie bereits geschrieben wurde, Dateien die nirgens verlinkt sind, findet auch kein Spider!
Und selbst wenn sie jemand manuell anmelden würde, dürften sie nicht auftauchen, da keine eingehenden und keine ausgehenden Links enthalten sind!