ABAKUS

Verfasst: **19.03.2004, 15:46**

hallo!

ich hab gestern mal versucht, eine meiner seiten im web.archive.org zu finden. dabei sagte der mir plötzlich, dass sie wegen robots.txt nicht drin wäre.
dann habe ich rausgefunden, dass ich tatsächlich den ia_archiver gesperrt hatte, weil ich dachte, das wäre nur von alexa das ding und würde nerven.
was meint ihr zu diesem bot? lasst ihr den crawlen? im web.archive drin zu sein kann ja eigentlich nich schaden...

Verfasst: **19.03.2004, 16:39**

manute hat geschrieben:im web.archive drin zu sein kann ja eigentlich nich schaden...

ja, genau deswegen lass ich den ia_archiver auch crawlen.

Verfasst: **19.03.2004, 23:12**

manute,

ich finde 'das Ding' auch nicht schlecht und laß daher die Türe offen ...
Hat mir auch schon mal weitergeholfen, als ich beweisen mußte, daß ich und nicht der Bilderdieb ein Bild zuerst auf der Site hatte

Verfasst: **20.03.2004, 15:26**

okay danke, ich habs aus der robots.txt rausgenommen.

Verfasst: **21.03.2004, 13:16**

Für private Homepages usw. sollte man sich aber gut überlegen, ob man will, daß diese Seite _immer_ für jeden verfügbar sein sollten...

Verfasst: **21.03.2004, 13:26**

naja, das überlege ich mir vorher sehr gut, was ich auf eine private homepage stelle. und nicht nur wegen dem archiver...

Verfasst: **21.03.2004, 13:35**

Du vielleicht ja, aber wieviele "neu-homepage-bastler" sind sich eben dieses Archiv nicht bewusst?

Verfasst: **21.03.2004, 13:49**

ja das kann sein. aber die sind sich so einiger sachen nicht bewusst (was sind trafficklau, copyright, bildrechte, guter geschmack, texteditoren, ladezeiten?

), was soll man dazu sagen? persönliches pech.

Verfasst: **21.03.2004, 13:54**

wie recht du hast!

Verfasst: **21.03.2004, 18:58**

stuijts hat geschrieben:Für private Homepages usw. sollte man sich aber gut überlegen, ob man will, daß diese Seite _immer_ für jeden verfügbar sein sollten...

... nicht zu vergessen ist dann aber auch der Google Cache!

Gab es da nicht ein Metatag, mit dem ich Google das cachen abgewöhnen kann trotz <meta name="robots" content="index, follow">

Verfasst: **21.03.2004, 19:32**

Code: Alles auswählen

<meta name="robots" content="index,follow,noarchive">

Verfasst: **01.05.2005, 19:11**

Auf meinem Forum war gerade der ia_archiver drauf. Ich habe die IP-Adresse überprüft und siehe da, zu meiner Verwunderung wurde mir alexa.com gezeigt. Nun meine Frage ist es ratsam den ia_archiver weiterhin crawlen zu lassen oder zu sperren.

Grüsse PetraK

Verfasst: **01.05.2005, 19:46**

Laß den man ruhig crawlen, der tut auch nur seinen Job.

Verfasst: **02.05.2005, 06:17**

Wenn Du es sagst, dann werde ich ihn mal crawlen lassen

Grüsse Petra

Verfasst: **02.05.2005, 10:50**

Es ist schön und gut, aber gerade ia_archiver hat bei mir so ein massives Traffic verursacht,
50 x so gross wie google, aber die Besucherzahl ist nicht mal 1% davon, was mir google bringt.
Wenn es schon meine Trafficvolumen-Monatsrahmen springt,
frage ich mich ob es sich lohnt. Oder mache ich was falsch ?

ABAKUS

was haltet ihr vom ia_archiver?

was haltet ihr vom ia_archiver?

Re: was haltet ihr vom ia_archiver?

was haltet ihr vom ia_archiver?

was haltet ihr vom ia_archiver?

was haltet ihr vom ia_archiver?