Content schützen? - HT Access reicht nicht!

Beitrag von **Jörg** » 29.12.2005, 12:01

@Fridaynite

ia_archiver spidert für https://www.archive.org/

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **buzzd** » 30.12.2005, 10:01

Fridaynite hat geschrieben:Mal eine Frage zu den Bots oben. Was ist denn das für einer?

ia_archiver

Soweit ich informiert bin ist das der bot von Alexa

Beitrag von **Fridaynite** » 30.12.2005, 12:53

ia_archiver spidert für https://www.archive.org/

Den Verdacht hatte ich auch - Danke.
Jetzt wird mir klar, warum archive.org bei mir sagt, dass die robots.txt ihn aussperrt. Hab ihn zwar nur in der htaccess, aber der bot merkts anscheinend genauso.

Soweit ich informiert bin ist das der bot von Alexa

Alexa macht für mich eher keinen Sinn, weil die Daten abgreifen bei der Domain.
Aber vielleicht täusch ich mich auch - wer weiss..

von **Anzeige von ABAKUS** »

Beitrag von **Jörg** » 30.12.2005, 14:14

buzzd hat recht, ia_archiver ist von Alexa, arbeitet aber auch für das Internet Archive, siehe auch:

https://www.archive.org/about/faqs.php#1

If you have a web site, and you would like to ensure that it is saved for posterity in the Internet Archive, and you've searched wayback and found no results, you can visit the Alexa's "Webmasters" page at https://pages.alexa.com/help/webmasters ... crawl_site.

Alexa ist wohl auch der Hauptsponsor des Internet Archivs

Beitrag von **Fridaynite** » 30.12.2005, 14:32

Dann lass ich den mal wieder durch - der tut mir nämlich nicht weh