ABAKUS

Hallo

ich würde gerne wissen, ob durch den Code

User-agent: ia_archiver
Disallow: /
User-agent: ia_archiver/1.6
Disallow: /

in der robots.txt die bereits vor Jahren abgespeicherten Daten nach und nach unwiderruflich aus den Archiven gelöscht werden oder ob sie nach dem Entfernen des Codes oder der robots.txt wieder auftauchen und man sie nur durch das persönliche Anschreiben der Betreiber von Archive.org löschen lassen kann?

Ich meine, dass durch diese Maßnahme keine neuen Daten von der Webseite abgespeichert werden ist mir klar, aber ob dieser Code auch dafür sorgt, dass auch die alten daten, die bereits in deren Archiven jahrelang abgelegt worden sind, für immer gelöscht werden, konnte ich nicht so richtig in deren FAQs herauslesen.
Die schreiben dort irgendwie: falls man die robots.txt nicht verwenden kann, soll man Sie anschreiben und die zu löschende URL mitteilen. Hat jemand schon die FAQs gelesen? Mein englisch ist leider extrem unausreichend für sowas

danke im Voraus!

gruß
alph

Und was soll der Sinn dieser Sache mit dem Löschen sein ????

r-alf hat geschrieben:Und was soll der Sinn dieser Sache mit dem Löschen sein ????

Dass die Inhalte dort nicht mehr verfügbar sind.
Ich verstehe nicht, warum immer jemand was zum Meckern/Wundern findet. Ist doch eine relativ einfache Frage hier.

DanielS hat geschrieben:

r-alf hat geschrieben:Und was soll der Sinn dieser Sache mit dem Löschen sein ????

Dass die Inhalte dort nicht mehr verfügbar sind.
Ich verstehe nicht, warum immer jemand was zum Meckern/Wundern findet. Ist doch eine relativ einfache Frage hier.

Es geht nichts ums Meckern oder Wundern sondern um das Warum?!

Wenn du die Frage nicht verstehst, dann blubber bitte nicht!

r-alf hat geschrieben:Und was soll der Sinn dieser Sache mit dem Löschen sein ????

ich will einfach mit einpaar Seiten komplett abschließen und will deshalb nicht, dass meine persönlichen daten (Name, Adresse etc, auf einer Seite auch mein Porträt usw) dort weiterhin "für alle Ewigkeiten" herumschwirren

alph hat geschrieben:

r-alf hat geschrieben:Und was soll der Sinn dieser Sache mit dem Löschen sein ????

ich will einfach mit einpaar Seiten komplett abschließen und will deshalb nicht, dass meine persönlichen daten (Name, Adresse etc, auf einer Seite auch mein Porträt usw) dort weiterhin "für alle Ewigkeiten" herumschwirren

Dann würde ich Archive.org anschreiben direkt anschreiben und das Löschen verlangen.

r-alf hat geschrieben:

alph hat geschrieben:

r-alf hat geschrieben:Und was soll der Sinn dieser Sache mit dem Löschen sein ????

ich will einfach mit einpaar Seiten komplett abschließen und will deshalb nicht, dass meine persönlichen daten (Name, Adresse etc, auf einer Seite auch mein Porträt usw) dort weiterhin "für alle Ewigkeiten" herumschwirren

Dann würde ich Archive.org anschreiben direkt anschreiben und das Löschen verlangen.

PS. Deine robots sperrt ja nur das aktuelle Cachen aus. Was eine Datenkrake einmal hat, gibt sie nich freiwillig wieder her

r-alf hat geschrieben:
Dann würde ich Archive.org anschreiben direkt anschreiben und das Löschen verlangen.

das befürchte ich auch aber vielleicht hat bereits jemand die erfahrung damit gemacht, dass der besagte Code sich auch um die alten inhalte kümmert. Bei google ist doch auch so, wenn man die Seiten mit

User-agent: *
Disallow: /

ausschließt, dann verschwinden sie nach und nach alle aus dem Index.

Ich meine, dass durch diese Maßnahme keine neuen Daten von der Webseite abgespeichert werden ist mir klar, aber ob dieser Code auch dafür sorgt, dass auch die alten daten, die bereits in deren Archiven jahrelang abgelegt worden sind, für immer gelöscht werden, konnte ich nicht so richtig in deren FAQs herauslesen.

Hier https://www.archive.org/about/exclude.php heisst es explizit, das mit der robots.txt auch alle bereits archivierten Inhalte einer Domain gelöscht werden.

Die robots.txt kannst Du hier "bekanntmachen": https://www.alexa.com/help/webmasters#crawl_site

r-alf hat geschrieben:

DanielS hat geschrieben:

r-alf hat geschrieben:Und was soll der Sinn dieser Sache mit dem Löschen sein ????

Dass die Inhalte dort nicht mehr verfügbar sind.
Ich verstehe nicht, warum immer jemand was zum Meckern/Wundern findet. Ist doch eine relativ einfache Frage hier.

Es geht nichts ums Meckern oder Wundern sondern um das Warum?!

Wenn du die Frage nicht verstehst, dann blubber bitte nicht!

Naja, wenn es Dir wirklich nur um das Warum ginge, hätte ein Fragezeichen auch ohne seine drei Freunde und dem o-Smiley ausgereicht.

Aber ich lass Euch Alfs mal alleine, anscheinend versteht Ihr Euch.

r00kie hat geschrieben: Hier https://www.archive.org/about/exclude.php heisst es explizit, das mit der robots.txt auch alle bereits archivierten Inhalte einer Domain gelöscht werden.

Die robots.txt kannst Du hier "bekanntmachen": https://www.alexa.com/help/webmasters#crawl_site

tatsächlich, das beruhigt einwenig! Aber wegen einpaar Seiten, die mir nicht mehr gehören und die ein grabber gekrallt hat, werde ich doch noch hinschreiben müssen

DanielS hat geschrieben:
Aber ich lass Euch Alfs mal alleine, anscheinend versteht Ihr Euch.

alf vor ever

alph hat geschrieben:

r00kie hat geschrieben: Hier https://www.archive.org/about/exclude.php heisst es explizit, das mit der robots.txt auch alle bereits archivierten Inhalte einer Domain gelöscht werden.

Die robots.txt kannst Du hier "bekanntmachen": https://www.alexa.com/help/webmasters#crawl_site

tatsächlich, das beruhigt einwenig! Aber wegen einpaar Seiten, die mir nicht mehr gehören und die ein grabber gekrallt hat, werde ich doch noch hinschreiben müssen

wenn es um den Grabber geht, dann lass ihn weiter grabben und bringe im <head> <base href="https://www.meie-webseite.tld">

KAW hat geschrieben:ich denke, er hat einige Seiten nicht mehr in seinem Besitz und kann dann natürlich auch kein <base href="https://www.meie-webseite.tld"> einfügen, will aber dennoch die Abbilder seiner damals ihm gehörenden Domain aus dem Archiv haben.

Da bleibt wirklich nur anschreiben

genauso siehts aus Was hat es eigentlich mit diesem <base href="https://www.meie-webseite.tld"> auf sich?? Was bringt es genau?

Ich hatte den Spider mal aus Versehen eine Zeit lang ausgesperrt, nachdem ich das korrigiert habe, waren auch die alten Inhalte wieder da (in diesem Fall zum Glück).