robot.txt befolgen - sonst klage

[d0nut]

https://www.golem.de/0507/39187.html

Die robots.txt Abfrage der Wayback-Machine versagt wohl manchmal ->
eine Seite wurde indexiert - wollte nicht -> Schadensersatz

Vielleicht ganz interessant..

[ts77]

fast, wenn ich es richtig verstehe, dann verspricht wayback-machine auch, daß die seite in deren index gesperrt wird/bleibt, wenn *nachträglich* eine robots.txt drauf gelegt wird. und dieser mechanismus klappte wohl manchmal nicht.
komische klage, trotzdem.