robots.txt macht mehr Schaden, als das sie hilft

[kaisen]

Irgendwie finde ich leuten zu raten "zu schützende Verzeichnisse" in der Robots.txt auszuschließen, grobst fahrlässig.

Letztendlich ist es doch so, sobald ich ein Verzeichnis ausschließe ist es dem Bot dennoch bekannt, auch wenn es von außen garnicht verlinkt ist.

Manch böser Bot kommt da sicher auf dumme Ideen.

Sind solche bekannt ,die sich nicht dran halten?

[DiveSurfer]

klar es gibt viele bot´s die sich nich an die robots.txt halten.
aber wenn ich ein verzeichnis habe das "zu schützen" ist dann bekommt es ne htaccess und gut ist ...

[kaisen]

ja gut weiß ich ja. danke
aber es soll ja viele geben, die so denken. mit Schutz meinte ich jetzt eigentlich auch eher "indizierungsschutz"

[hborkott]

Leg serverseitig im Zweifel noch 'ne 711 auf das Verzeichnis.
Ansonsten bieten auch Kondome keinen 100%igen Schutz.
Seriöse Bots halten sich idR an die robots.txt.

[catcat]

Wenn mich einer fragt, dann rate ich ihm, dass er das Verzeichnis in der robots.txt UND in der .htaccess ausschliessen soll...

Wenn jemand so keine Ahnung hat und sich auch nicht anderweitig kundig machen will, dann ist ihm nicht zu helfen.

(Das war nicht als Seitenhieb gedacht, sondern manche sind einfach zu faul)

[hborkott]

"robots.txt UND in der .htaccess" hatten wir doch oben schon;-)