was haltet ihr vom ia_archiver?

Beitrag von **manute** » 19.03.2004, 15:46

hallo!

ich hab gestern mal versucht, eine meiner seiten im web.archive.org zu finden. dabei sagte der mir plötzlich, dass sie wegen robots.txt nicht drin wäre.
dann habe ich rausgefunden, dass ich tatsächlich den ia_archiver gesperrt hatte, weil ich dachte, das wäre nur von alexa das ding und würde nerven.
was meint ihr zu diesem bot? lasst ihr den crawlen? im web.archive drin zu sein kann ja eigentlich nich schaden...

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Jörg** » 19.03.2004, 16:39

manute hat geschrieben:im web.archive drin zu sein kann ja eigentlich nich schaden...

ja, genau deswegen lass ich den ia_archiver auch crawlen.

Beitrag von **Halli** » 19.03.2004, 23:12

manute,

ich finde 'das Ding' auch nicht schlecht und laß daher die Türe offen ...
Hat mir auch schon mal weitergeholfen, als ich beweisen mußte, daß ich und nicht der Bilderdieb ein Bild zuerst auf der Site hatte

von **Anzeige von ABAKUS** »

Beitrag von **manute** » 20.03.2004, 15:26

okay danke, ich habs aus der robots.txt rausgenommen.

Beitrag von **stuijts** » 21.03.2004, 13:16

Für private Homepages usw. sollte man sich aber gut überlegen, ob man will, daß diese Seite _immer_ für jeden verfügbar sein sollten...

Beitrag von **manute** » 21.03.2004, 13:26

naja, das überlege ich mir vorher sehr gut, was ich auf eine private homepage stelle. und nicht nur wegen dem archiver...

Beitrag von **stuijts** » 21.03.2004, 13:35

Du vielleicht ja, aber wieviele "neu-homepage-bastler" sind sich eben dieses Archiv nicht bewusst?

Beitrag von **manute** » 21.03.2004, 13:49

ja das kann sein. aber die sind sich so einiger sachen nicht bewusst (was sind trafficklau, copyright, bildrechte, guter geschmack, texteditoren, ladezeiten?

), was soll man dazu sagen? persönliches pech.

Beitrag von **stuijts** » 21.03.2004, 13:54

wie recht du hast!

Beitrag von **Halli** » 21.03.2004, 18:58

stuijts hat geschrieben:Für private Homepages usw. sollte man sich aber gut überlegen, ob man will, daß diese Seite _immer_ für jeden verfügbar sein sollten...

... nicht zu vergessen ist dann aber auch der Google Cache!

Gab es da nicht ein Metatag, mit dem ich Google das cachen abgewöhnen kann trotz <meta name="robots" content="index, follow">

Beitrag von **Southmedia** » 21.03.2004, 19:32

Code: Alles auswählen

<meta name="robots" content="index,follow,noarchive">

Beitrag von **PetraK** » 01.05.2005, 19:11

Auf meinem Forum war gerade der ia_archiver drauf. Ich habe die IP-Adresse überprüft und siehe da, zu meiner Verwunderung wurde mir alexa.com gezeigt. Nun meine Frage ist es ratsam den ia_archiver weiterhin crawlen zu lassen oder zu sperren.

Grüsse PetraK

Beitrag von **ErwinRommel** » 01.05.2005, 19:46

Laß den man ruhig crawlen, der tut auch nur seinen Job.

Beitrag von **PetraK** » 02.05.2005, 06:17

Wenn Du es sagst, dann werde ich ihn mal crawlen lassen

Grüsse Petra

Beitrag von **remik** » 02.05.2005, 10:50

Es ist schön und gut, aber gerade ia_archiver hat bei mir so ein massives Traffic verursacht,
50 x so gross wie google, aber die Besucherzahl ist nicht mal 1% davon, was mir google bringt.
Wenn es schon meine Trafficvolumen-Monatsrahmen springt,
frage ich mich ob es sich lohnt. Oder mache ich was falsch ?