Es ist schön und gut, aber gerade ia_archiver hat bei mir so ein massives Traffic verursacht, 50 x so gross wie google, aber die Besucherzahl ist nicht mal 1% davon, was mir google bringt. Wenn es schon meine Trafficvolumen-Monatsrahmen springt, frage ich mich ob es sich lohnt. Oder mache ich was f...
Auf meinem Forum war gerade der ia_archiver drauf. Ich habe die IP-Adresse überprüft und siehe da, zu meiner Verwunderung wurde mir alexa.com gezeigt. Nun meine Frage ist es ratsam den ia_archiver weiterhin crawlen zu lassen oder zu sperren.