Seite 1 von 2
was haltet ihr vom ia_archiver?
Verfasst: 19.03.2004, 15:46
von manute
hallo!
ich hab gestern mal versucht, eine meiner seiten im web.archive.org zu finden. dabei sagte der mir plötzlich, dass sie wegen robots.txt nicht drin wäre.
dann habe ich rausgefunden, dass ich tatsächlich den ia_archiver gesperrt hatte, weil ich dachte, das wäre nur von alexa das ding und würde nerven.
was meint ihr zu diesem bot? lasst ihr den crawlen? im web.archive drin zu sein kann ja eigentlich nich schaden...
Re: was haltet ihr vom ia_archiver?
Verfasst: 19.03.2004, 16:39
von Jörg
manute hat geschrieben:im web.archive drin zu sein kann ja eigentlich nich schaden...
ja, genau deswegen lass ich den ia_archiver auch crawlen.
Verfasst: 19.03.2004, 23:12
von Halli
manute,
ich finde 'das Ding' auch nicht schlecht und laß daher die Türe offen ...
Hat mir auch schon mal weitergeholfen, als ich beweisen mußte, daß ich und nicht der Bilderdieb ein Bild zuerst auf der Site hatte
Verfasst: 20.03.2004, 15:26
von manute
okay danke, ich habs aus der robots.txt rausgenommen.
Verfasst: 21.03.2004, 13:16
von stuijts
Für private Homepages usw. sollte man sich aber gut überlegen, ob man will, daß diese Seite _immer_ für jeden verfügbar sein sollten...
Verfasst: 21.03.2004, 13:26
von manute
naja, das überlege ich mir vorher sehr gut, was ich auf eine private homepage stelle. und nicht nur wegen dem archiver...
Verfasst: 21.03.2004, 13:35
von stuijts
Du vielleicht ja, aber wieviele "neu-homepage-bastler" sind sich eben dieses Archiv nicht bewusst?
Verfasst: 21.03.2004, 13:49
von manute
ja das kann sein. aber die sind sich so einiger sachen nicht bewusst (was sind trafficklau, copyright, bildrechte, guter geschmack, texteditoren, ladezeiten?
), was soll man dazu sagen? persönliches pech.
Verfasst: 21.03.2004, 13:54
von stuijts
wie recht du hast!
Verfasst: 21.03.2004, 18:58
von Halli
stuijts hat geschrieben:Für private Homepages usw. sollte man sich aber gut überlegen, ob man will, daß diese Seite _immer_ für jeden verfügbar sein sollten...
... nicht zu vergessen ist dann aber auch der Google Cache!
Gab es da nicht ein Metatag, mit dem ich Google das cachen abgewöhnen kann trotz <meta name="robots" content="index, follow">
Verfasst: 21.03.2004, 19:32
von Southmedia
was haltet ihr vom ia_archiver?
Verfasst: 01.05.2005, 19:11
von PetraK
Auf meinem Forum war gerade der ia_archiver drauf. Ich habe die IP-Adresse überprüft und siehe da, zu meiner Verwunderung wurde mir alexa.com gezeigt. Nun meine Frage ist es ratsam den ia_archiver weiterhin crawlen zu lassen oder zu sperren.
Grüsse PetraK
was haltet ihr vom ia_archiver?
Verfasst: 01.05.2005, 19:46
von ErwinRommel
Laß den man ruhig crawlen, der tut auch nur seinen Job.
was haltet ihr vom ia_archiver?
Verfasst: 02.05.2005, 06:17
von PetraK
Wenn Du es sagst, dann werde ich ihn mal crawlen lassen
Grüsse Petra
Verfasst: 02.05.2005, 10:50
von remik
Es ist schön und gut, aber gerade ia_archiver hat bei mir so ein massives Traffic verursacht,
50 x so gross wie google, aber die Besucherzahl ist nicht mal 1% davon, was mir google bringt.
Wenn es schon meine Trafficvolumen-Monatsrahmen springt,
frage ich mich ob es sich lohnt. Oder mache ich was falsch ?
