hallo!
ich hab gestern mal versucht, eine meiner seiten im web.archive.org zu finden. dabei sagte der mir plötzlich, dass sie wegen robots.txt nicht drin wäre.
dann habe ich rausgefunden, dass ich tatsächlich den ia_archiver gesperrt hatte, weil ich dachte, das wäre nur von alexa das ding und würde nerven.
was meint ihr zu diesem bot? lasst ihr den crawlen? im web.archive drin zu sein kann ja eigentlich nich schaden...
Archiv
), was soll man dazu sagen? persönliches pech. 
wie recht du hast!
