Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Server (V oder normal) für Crawler

Forum rund um das Thema Hardware für Webmaster.
3DCG
PostRank 7
PostRank 7
Beiträge: 550
Registriert: 22.01.2006, 20:11
Wohnort: FFM

Beitrag von 3DCG » 27.07.2009, 17:50

Hallo,

suche einen (preiswerten) Server der mir "erlaubt" darauf einen Crawler zu betreiben (Java oder .Net). D.h. anstatt viel Traffic raus durch Besucher die Seiten abrufen hätte ich wenige Beuscher (Status checken) aber dafür viel Traffic raus, d.h. der Crawler liest Seiten ein und wertet die aus - d.h. noch nicht mal viel CPU Last aber (viel) Traffic.

Wer kann mir da was empfehlen oder hat selber sowas vergleichbares wo laufen - Serverstandort egal.

Mit einem Webspace werde ich nicht auskommen (nehme ich an) weil ich ja ein Java oder .Net Programm laufen lassen würde. Auch ne DB bräuchte ich zum Speichern der URLs und Ergebnisse (Queue und Result)

DANKE


.

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


ws32
PostRank 5
PostRank 5
Beiträge: 209
Registriert: 28.03.2009, 21:08
Wohnort: Berlin

Beitrag von ws32 » 27.07.2009, 18:02

Hast du schonmal über Grid-Hosting bzw. Cloud-Computing nachgedacht ?
rackspace bietet das relativ günstig an:
https://www.rackspacecloud.com/cloud_ho ... ts/servers

Es gibt auch noch weitere Anbieter wie Amazon mit seinen Amazon Elastic Compute Cloud (EC2) Service...

Ich denke nicht das du bei einen "normalen" Hoster unendlich viel Traffic und Ressourcen verwenden darfst. Gerade ein V-Server wird wohl viel zu schwach sein.
Ich habe neulich mal auf meinen Desktop einen Crawler laufen lassen und...ja...mein PC ging dabei ganz schön in die Knie...

bennos
PostRank 9
PostRank 9
Beiträge: 1299
Registriert: 16.12.2005, 11:51

Beitrag von bennos » 27.07.2009, 18:17

dann solltest du dir auch Amazon und die von Google Apps Engine anschauen.

Lord Lommel
PostRank 10
PostRank 10
Beiträge: 3227
Registriert: 18.02.2008, 02:43
Wohnort: Halle / Saale

Beitrag von Lord Lommel » 27.07.2009, 20:59

Mal so eine Idee, ich weiß nicht ob sie dir nützt. Aber mit VDSL50 könntest du dir den ja zu Hause hinstellen.

bennos
PostRank 9
PostRank 9
Beiträge: 1299
Registriert: 16.12.2005, 11:51

Beitrag von bennos » 27.07.2009, 21:42

dazu müsste man aber erstmal VDSL 50 bekommen können.

scysys
PostRank 8
PostRank 8
Beiträge: 741
Registriert: 06.12.2008, 22:07
Wohnort: Deutschland

Beitrag von scysys » 27.07.2009, 22:18

bennos hat geschrieben:dazu müsste man aber erstmal VDSL 50 bekommen können.
Ist doch bereits in Dortmund verfügbar soweit ich Informiert bin :)

Lord Lommel
PostRank 10
PostRank 10
Beiträge: 3227
Registriert: 18.02.2008, 02:43
Wohnort: Halle / Saale

Beitrag von Lord Lommel » 27.07.2009, 22:43

Theoretisch gibts das hier auch, praktisch ist die Telekom unfähig. ^^ Aber wenn mans hat, hat man ungeahnte Möglichkeiten.

ws32
PostRank 5
PostRank 5
Beiträge: 209
Registriert: 28.03.2009, 21:08
Wohnort: Berlin

Beitrag von ws32 » 27.07.2009, 22:51

Mal eine andere Frage:
Könnt Ihr denn einen bestimmten Crawler empfehlen?
Zuletzt geändert von ws32 am 27.07.2009, 23:13, insgesamt 1-mal geändert.

bennos
PostRank 9
PostRank 9
Beiträge: 1299
Registriert: 16.12.2005, 11:51

Beitrag von bennos » 27.07.2009, 23:06

wer vdsl haben möchte, kann sich gerne bei mir melden, habe da einen direkten Draht zur Telekom der fast alles möglich macht, auch Anschlüsse innerhalb von 3 Werktagen.

VDSL 50 ist in der Dortmunder City verfügbar und VDSL 25 auch in den Vororten. TDSL 16000 tut es auch bei mir, wohne leider nicht City. :roll:

3DCG
PostRank 7
PostRank 7
Beiträge: 550
Registriert: 22.01.2006, 20:11
Wohnort: FFM

Beitrag von 3DCG » 28.07.2009, 10:43

HI,

an DSL und einen PC hatte ich auch schon gedacht - denke aber über einen (V)Server ist es einfacher - der Cloud Tipp ist gar nicht so schlecht (App Engine habe ich sogar einen Account) aber ein einfachen Web Server missbrauchen hat auch seinen Charm und ist billiger.

DANKE


.

Lord Lommel
PostRank 10
PostRank 10
Beiträge: 3227
Registriert: 18.02.2008, 02:43
Wohnort: Halle / Saale

Beitrag von Lord Lommel » 28.07.2009, 11:14

Jo, wenn dir der kleine Speicher reicht und der Bot nicht allzu rechenintensiv ist, müßte ein V-Server reichen. Für kleine Aufgaben mach ich das auch so.

ws32
PostRank 5
PostRank 5
Beiträge: 209
Registriert: 28.03.2009, 21:08
Wohnort: Berlin

Beitrag von ws32 » 28.07.2009, 11:45

Könntet Ihr bitte noch folgende Frage beantworten:

Könnt Ihr denn einen bestimmten Crawler empfehlen?

Darknova
PostRank 4
PostRank 4
Beiträge: 153
Registriert: 27.07.2009, 09:11
Wohnort: Dortmund

Beitrag von Darknova » 28.07.2009, 11:51

Ihr Glücklichen^^
Ich wohne zwar im Ruhrgebiet ca. 20 min von Dortmund weg aber bei mir kommen so
5000 an^^ :D
Und ich wohn iner City^^ (Datteln halt -.- scheiß 36.000 Leute Kaff :D)
naja Back to Topic..
sam-city.eu kann ich für nen V-server empfehlen..
Kannst ja mal mit denen Reden und fragen ob du Testen kannst..
Die sind eig. total nett und haben nen guten Service..
Bei alles drüber (also Root hab ich gehört das https://www.server4you.de/ gut seinen sollen werde die wohl selber die Tage mal austesten weil ich was neues brauch mein alter anbieter ist schlecht) Da solltest du dann zwar min. nen 1 jahres Vertrag abschließen aber du kannst 1 Monat testen und dann aussteigen und zahlst nur den 1 Monat.
lg
Link- oder Artikeltausch z.B. mit
https://www.werbungiminternet.eu

Einfach eine PM schreiben!

Lord Lommel
PostRank 10
PostRank 10
Beiträge: 3227
Registriert: 18.02.2008, 02:43
Wohnort: Halle / Saale

Beitrag von Lord Lommel » 28.07.2009, 12:51

ws32 hat geschrieben:Könntet Ihr bitte noch folgende Frage beantworten:

Könnt Ihr denn einen bestimmten Crawler empfehlen?
Ich würd einen selber scheiben, wenn du das kannst. Dann macht er genau das, was du willst.

Nullpointer
PostRank 10
PostRank 10
Beiträge: 4790
Registriert: 22.04.2005, 19:14
Wohnort: West Berlin

Beitrag von Nullpointer » 28.07.2009, 15:09

3DCG hat geschrieben:...

Mit einem Webspace werde ich nicht auskommen (nehme ich an) weil ich ja ein Java oder .Net Programm laufen lassen würde. Auch ne DB bräuchte ich zum Speichern der URLs und Ergebnisse (Queue und Result)
...
.
Kleiner Tipp am Rande. Schreibe ihn nicht in Java oder .Net (C#?). Am Anfang geht es schneller und am Ende dauert es ewig. Ich würde C empfehlen oder wenn Du was neues lernen willst Erlang.
Du glaubst gar nicht, was für einen Performanceunterschied das ausmacht. Natürlich hinfällig, wenn man über Klingeldraht angebunden ist.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag