robots.txt schützen?

Beitrag von **Klaus** » 05.08.2003, 19:15

Hey, das klingt gut.
Werde ich mal anpassen.
Sage dann Bescheid.
Gruß
Klaus

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Klaus** » 05.08.2003, 20:40

Hei.
Ich habe da noch eine grundsätzliche Frage:
Wenn also die robots.txt von den Spidern zuerst ausgelesen wird...
Und dann zu index.html gesprungen wird...
Von dort folgt ein Spider also den Links...

Ist es richtig, dass:
wenn kein Link auf Verzeichnis-x verweist, wird Verzeichnis-x auch vom Spider nicht "besucht" und indexiert?

Ist das so?

Danke und Gruß
Klaus

Beitrag von **bugscout** » 05.08.2003, 23:10

moin klaus,

so ist´s

grüsse

von **Anzeige von ABAKUS** »

Beitrag von **pi-de** » 06.08.2003, 07:55

Eine robots.txt kann man nicht schützen.
Das ist eine Textdatei, da kann man definitiv mit php o.ä. nichts machen.

Damit Ordner nicht ausgelesen werden können, wenn keine index-Seite enthalten ist, kann man eine einfache index.html mit einem meta-refresh mit 0 auf die Hauptseite setzen, oder man ändert direkt die Serverkonfigurationen wenn möglich.
Es gibt noch viele Hoster die das auslesen von Ordnern standardmäßig zulassen.

Und wie bereits geschrieben wurde, Dateien die nirgens verlinkt sind, findet auch kein Spider!
Und selbst wenn sie jemand manuell anmelden würde, dürften sie nicht auftauchen, da keine eingehenden und keine ausgehenden Links enthalten sind!