robots.txt schützen?

Beitrag von **Klaus** » 05.08.2003, 08:37

Hallo.
Wahrscheinlich habe ich etwas falsch gemacht?
Ich habe eine robots.txt.
Die sperrt auch das ein oder andere Verzeichnis aus.
So weit so gut.
Wenn jetzt aber ein Fremder daher kommt und
www.meine-domain.de/robots.txt eingibt....
dann bekommt er doch die robots.txt angezeigt.

Und das ist nicht wünschenswert,oder?

Kann man das verhindern?

Wahrscheinlich?!

Gruß Klaus

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **viggen** » 05.08.2003, 09:10

Ich bin mir ziemlich sicher das man das nicht verhindern kann, weil sonst kommt der spider ja auch nicht hin.

Und schützenswert ist so eine robots.txt nicht, soll er sie doch sehen.
nicht einmal google schützt sie

mfg
viggen

Beitrag von **Webby** » 05.08.2003, 10:19

Genau so ist es Viggen.
Weniger haben so viel eintrag wie ich in robots.txt aber wieso sollte es die schtuzen?

Kannst alle die klauen von mir aus. Bekommt sicherlich viel weniger spam.

(https://www.abakus-internet-marketing.de/robots.txt )

von **Anzeige von ABAKUS** »

Beitrag von **UweT** » 05.08.2003, 10:51

Also ich verstehe die Bedenken, denn über die robots.txt sieht ein "Nicht Spider", was ein Spider nicht sehen darf und wie man weiss liegt es in der Natur des Menschen alles das du durchsuchen, was verboten ist....

Leider hab ich keine Idee, wie man diese Datei effektiv schützen kann, sodass die Spider drauf können, ein Mensch jedoch nicht.

Beitrag von **Webby** » 05.08.2003, 11:03

Eine grunde übrigens um eine robots.txt von mensch zu schutzen ist das es kann sein das es gibt eine ungeschutzte member bereich das von spider ausgeschlossen ist. Oder irgendwelche 'transfer' bereich. Durch lesen eine robots.txt kann hackern mehr zum seiten struktur feststellen. Aber eigentlich für 90% webseiten gibt es wirklich keine grund die zu schutzen. Es ist auch nicht möglich imo.

Beitrag von **Caschi** » 05.08.2003, 11:15

bei php wärs ja kein prob kann ich nett per htaceess oder so auch ne abfrage nach ip machen wer darf oder wer nicht ? ich habe früher in meinem foren google abgefangen und wenns der bot war war der befehl keine sid zu erstellen weil es ja sonst probs gab sowas muss ich doch auch dafür machen können irgendwie ...

grüße

Beitrag von **Klaus** » 05.08.2003, 13:46

Hallo.
Es ist genauso, wie tbone schreibt.
Vor Spidern will ich sie natürlich nicht schützen. Wäre ja ziemlich schwachsinnig und wider der robots.txt.

Aber vor allzu neugierigen Blicken, die dadurch durchaus Einblick in die Struktur des Verzeichnisses bekommen.

Und nicht immer ist es möglich, Verzeichnisse per htaccess zu schützen (damit ein Skript läuft dürfen mitunter keine anderen Dateien in dem betreffenden Verzeichnis leigen, auf das zugegriifen wird).

Damit nur ein bestimmter Personenkreis darauf zugreift, verlinke ich die Seite natürlich nicht und damit sie nicht indexiert wird, kommt eben die robots.txt zum Zuge.

Und siehe da: der Pfad ist auf einmal nicht mehr "geheim".

Aber keine Möglichkeit?

Gruß
Klaus

Beitrag von **bugscout** » 05.08.2003, 14:11

moin klaus,

Vor Spidern will ich sie natürlich nicht schützen.

klingt ein bisschen unlogisch, die ordner die du nicht vor spidern schützen willst, werden im robots.txt gar nicht aufgeführt.

Damit nur ein bestimmter Personenkreis darauf zugreift, verlinke ich die Seite natürlich nicht und damit sie nicht indexiert wird, kommt eben die robots.txt zum Zuge.

und wenn die nicht verlinkt ist, woher soll der spider die denn finden?
einzige möglichkeit wäre wenn jemand der den link kennt bei der suchma anmeldet.

was bringt es jemand, wenn er weiss, dass du einen ordner "geheimnisse" hast.

wenn du keinen "dauserver" hast, der erlaubt bei der eingabe von
"www. meineDomain.de/geheimnisse/" beim fehlen der index, den gesamten ordner anzuschauen (sowas solls immer noch geben),
weiss er jetzt, dass der ordner existiert.

kann er dann ja mal testen, ob

www. meineDomain.de/geheimnisse/mein_geheimnis.doc

zum erfolg führt oder vielleicht

www. meineDomain.de/geheimnisse/meine_geheime_seite.htm

na und? wenn da wirklich was geheimes drin ist kannst du es auch noch mit passwort schützen.

grüsse

Beitrag von **UweT** » 05.08.2003, 14:36

Also in dem Fall plediere ich einfach dafür, gar keine robots.txt einzusetzen und die betreffenden secure folders einfach mit htaccess oder session login versehen.

Damit kann dann ein potentieller Angreifer auch nicht die Verzeichnisstruktur herausbekommen, zumindest nicht über den Weg die Robots.txt auszulesen.

gruß
tbone.

Beitrag von **Webby** » 05.08.2003, 15:03

@bugscout.
Robots rufen als erste in root die robots.txt. robots.tx sollte nur in root erscheine. Deshalb eine verzeichnis sperre werden sowieso nicht bringen. Die lösung könnte was server seitig sein denk ich mal. Vielleicht mit .htaccess oder apache einstellung oder was weis ich möglich sein.

Sonnst hat Tbone recht, weg mit robots.txt und 'dissalow' durch .htaccess.

Beitrag von **bugscout** » 05.08.2003, 16:13

moin Webby,

tbone hat recht, mein kommentar ging auch nur um den verqueren gedankengang

robots.txt erstellen -> darin verzeichnis "geheimnis" auf disallow -> dann versuchen die robots.txt für normaluser nicht sichtbar zu machen.

wenn ich in der robots.txt das verzeichnis "geheimnis" nicht erwähne, weiss der robot auch nicht, dass es es gibt, wenn auf den seiten auch kein link ist und der normaluser kann sich die robots.txt anschauen, solange er will, steht nämlich nichts drin.

ansonsten so wie tbone schreibt, robots.txt leer und verzeichnis schützen

grüsse

Beitrag von **Klaus** » 05.08.2003, 16:38

Hallo.
Ja, so könnte es gehen, wie tbone es beschreibt.
Meine Eingangswort waren ja auch:

Wahrscheinlich habe ich etwas falsch gemacht?

Okya, zunächst einmal weg. Sehr gut. Danke.

Aber schützen des Verzeichnis geht in diesem Fall (glaube ich nicht--- steht zumindest in dem script) weil in dem betreffenden Verzeichnis k e i n e weiteren Dateien liegen als die notwendigen Textdateien.

Aber... das Verzechnis kennt ja auch niemand

Danke und Gruß
Klaus

Beitrag von **bugscout** » 05.08.2003, 16:54

moin klaus

steht zumindest in dem script

was fürn script *neugirig frag*

grüsse

Beitrag von **Klaus** » 05.08.2003, 17:10

Eine Art CMS basierend auf Textdateien.
Es werden .txt Dateien ausgelesen und der reihe nach abgearbeitet.
Nur damit das funzt darf halt nichts anderes in dem Verzeichnis stehen.
Wird über eine php-Datei aufgerufen.
Gruß
Klaus

Beitrag von **bugscout** » 05.08.2003, 17:20

moin moin,

und wenn du die php-datei ins verzeichnis "geheim" legst und die text-dateien

in geheim/texte und dann geheim schützt, dann kann der normaluser an die datei nicht ran und die erlaubten geben ein passwort ein.

grüsse