Content schützen? - HT Access reicht nicht!

[Jörg]

@Fridaynite

ia_archiver spidert für https://www.archive.org/

[buzzd]

Mal eine Frage zu den Bots oben. Was ist denn das für einer?

ia_archiver

Soweit ich informiert bin ist das der bot von Alexa

[Fridaynite]

ia_archiver spidert für https://www.archive.org/

Den Verdacht hatte ich auch - Danke.
Jetzt wird mir klar, warum archive.org bei mir sagt, dass die robots.txt ihn aussperrt. Hab ihn zwar nur in der htaccess, aber der bot merkts anscheinend genauso.

Soweit ich informiert bin ist das der bot von Alexa

Alexa macht für mich eher keinen Sinn, weil die Daten abgreifen bei der Domain.
Aber vielleicht täusch ich mich auch - wer weiss..

[Jörg]

buzzd hat recht, ia_archiver ist von Alexa, arbeitet aber auch für das Internet Archive, siehe auch:

https://www.archive.org/about/faqs.php#1

If you have a web site, and you would like to ensure that it is saved for posterity in the Internet Archive, and you've searched wayback and found no results, you can visit the Alexa's "Webmasters" page at https://pages.alexa.com/help/webmasters ... crawl_site.

Alexa ist wohl auch der Hauptsponsor des Internet Archivs

[Fridaynite]

Dann lass ich den mal wieder durch - der tut mir nämlich nicht weh