Server (V oder normal) für Crawler

Beitrag von **3DCG** » 27.07.2009, 17:50

Hallo,

suche einen (preiswerten) Server der mir "erlaubt" darauf einen Crawler zu betreiben (Java oder .Net). D.h. anstatt viel Traffic raus durch Besucher die Seiten abrufen hätte ich wenige Beuscher (Status checken) aber dafür viel Traffic raus, d.h. der Crawler liest Seiten ein und wertet die aus - d.h. noch nicht mal viel CPU Last aber (viel) Traffic.

Wer kann mir da was empfehlen oder hat selber sowas vergleichbares wo laufen - Serverstandort egal.

Mit einem Webspace werde ich nicht auskommen (nehme ich an) weil ich ja ein Java oder .Net Programm laufen lassen würde. Auch ne DB bräuchte ich zum Speichern der URLs und Ergebnisse (Queue und Result)

DANKE

.

von **Anzeige von ABAKUS** »

Beitrag von **ws32** » 27.07.2009, 18:02

Hast du schonmal über Grid-Hosting bzw. Cloud-Computing nachgedacht ?
rackspace bietet das relativ günstig an:
https://www.rackspacecloud.com/cloud_ho ... ts/servers

Es gibt auch noch weitere Anbieter wie Amazon mit seinen Amazon Elastic Compute Cloud (EC2) Service...

Ich denke nicht das du bei einen "normalen" Hoster unendlich viel Traffic und Ressourcen verwenden darfst. Gerade ein V-Server wird wohl viel zu schwach sein.
Ich habe neulich mal auf meinen Desktop einen Crawler laufen lassen und...ja...mein PC ging dabei ganz schön in die Knie...

Beitrag von **bennos** » 27.07.2009, 18:17

dann solltest du dir auch Amazon und die von Google Apps Engine anschauen.

Beitrag von **Lord Lommel** » 27.07.2009, 20:59

Mal so eine Idee, ich weiß nicht ob sie dir nützt. Aber mit VDSL50 könntest du dir den ja zu Hause hinstellen.

Beitrag von **bennos** » 27.07.2009, 21:42

dazu müsste man aber erstmal VDSL 50 bekommen können.

Beitrag von **scysys** » 27.07.2009, 22:18

bennos hat geschrieben:dazu müsste man aber erstmal VDSL 50 bekommen können.

Ist doch bereits in Dortmund verfügbar soweit ich Informiert bin

Beitrag von **Lord Lommel** » 27.07.2009, 22:43

Theoretisch gibts das hier auch, praktisch ist die Telekom unfähig. ^^ Aber wenn mans hat, hat man ungeahnte Möglichkeiten.

Beitrag von **ws32** » 27.07.2009, 22:51

Mal eine andere Frage:
Könnt Ihr denn einen bestimmten Crawler empfehlen?

Beitrag von **bennos** » 27.07.2009, 23:06

wer vdsl haben möchte, kann sich gerne bei mir melden, habe da einen direkten Draht zur Telekom der fast alles möglich macht, auch Anschlüsse innerhalb von 3 Werktagen.

VDSL 50 ist in der Dortmunder City verfügbar und VDSL 25 auch in den Vororten. TDSL 16000 tut es auch bei mir, wohne leider nicht City.

Beitrag von **3DCG** » 28.07.2009, 10:43

HI,

an DSL und einen PC hatte ich auch schon gedacht - denke aber über einen (V)Server ist es einfacher - der Cloud Tipp ist gar nicht so schlecht (App Engine habe ich sogar einen Account) aber ein einfachen Web Server missbrauchen hat auch seinen Charm und ist billiger.

DANKE

.

Beitrag von **Lord Lommel** » 28.07.2009, 11:14

Jo, wenn dir der kleine Speicher reicht und der Bot nicht allzu rechenintensiv ist, müßte ein V-Server reichen. Für kleine Aufgaben mach ich das auch so.

Beitrag von **ws32** » 28.07.2009, 11:45

Könntet Ihr bitte noch folgende Frage beantworten:

Könnt Ihr denn einen bestimmten Crawler empfehlen?

Beitrag von **Darknova** » 28.07.2009, 11:51

Ihr Glücklichen^^
Ich wohne zwar im Ruhrgebiet ca. 20 min von Dortmund weg aber bei mir kommen so
5000 an^^

Und ich wohn iner City^^ (Datteln halt -.- scheiß 36.000 Leute Kaff

)
naja Back to Topic..
sam-city.eu kann ich für nen V-server empfehlen..
Kannst ja mal mit denen Reden und fragen ob du Testen kannst..
Die sind eig. total nett und haben nen guten Service..
Bei alles drüber (also Root hab ich gehört das https://www.server4you.de/ gut seinen sollen werde die wohl selber die Tage mal austesten weil ich was neues brauch mein alter anbieter ist schlecht) Da solltest du dann zwar min. nen 1 jahres Vertrag abschließen aber du kannst 1 Monat testen und dann aussteigen und zahlst nur den 1 Monat.
lg

Beitrag von **Lord Lommel** » 28.07.2009, 12:51

ws32 hat geschrieben:Könntet Ihr bitte noch folgende Frage beantworten:

Könnt Ihr denn einen bestimmten Crawler empfehlen?

Ich würd einen selber scheiben, wenn du das kannst. Dann macht er genau das, was du willst.

Beitrag von **Nullpointer** » 28.07.2009, 15:09

3DCG hat geschrieben:...

Mit einem Webspace werde ich nicht auskommen (nehme ich an) weil ich ja ein Java oder .Net Programm laufen lassen würde. Auch ne DB bräuchte ich zum Speichern der URLs und Ergebnisse (Queue und Result)
...
.

Kleiner Tipp am Rande. Schreibe ihn nicht in Java oder .Net (C#?). Am Anfang geht es schneller und am Ende dauert es ewig. Ich würde C empfehlen oder wenn Du was neues lernen willst Erlang.
Du glaubst gar nicht, was für einen Performanceunterschied das ausmacht. Natürlich hinfällig, wenn man über Klingeldraht angebunden ist.