robot.txt befolgen - sonst klage

Beitrag von **d0nut** » 12.07.2005, 22:20

https://www.golem.de/0507/39187.html

Die robots.txt Abfrage der Wayback-Machine versagt wohl manchmal ->
eine Seite wurde indexiert - wollte nicht -> Schadensersatz

Vielleicht ganz interessant..

von **Anzeige von ABAKUS** »

Beitrag von **ts77** » 12.07.2005, 23:03

fast, wenn ich es richtig verstehe, dann verspricht wayback-machine auch, daß die seite in deren index gesperrt wird/bleibt, wenn *nachträglich* eine robots.txt drauf gelegt wird. und dieser mechanismus klappte wohl manchmal nicht.
komische klage, trotzdem.