HowTo: Sehr viele Socket/HTTP Request Abfragen SCHNELL

Beitrag von **Airport1** » 16.04.2005, 14:34

Problemstellung:
Sehr viele Socket/HTTP Request Abfragen in sehr kurzer Zeit.
Via Proxy.

Anzahl Abfragen: 10125000
Zeit: 3 Tage

Also anfallende Abfragen pro Tag im Schnitt: 3375000
Also anfallende Abfragen pro Sekunde im Schnitt: 39,0625

Habe mal testweise 64 Sockets gleichzeitig aufgesetzt/losgeschickt, komme damit aber nur auf 3 realisierbare Abfragen pro Sekunde (in PHP).

Frage also: Ist das o.g. in der kurzen Zeit machbar? Wenn ja, wie?
Vielleicht viele Prozesse / Childs forken / abspalten?
Welche Sprache eignet sich am besten? Perl? Java?
PHP scheint dafuer absolut ungeeignet zu sein.
Es muessen zudem temporaer auch mal ausfallende Proxies verwendet werden.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Airport1** » 16.04.2005, 18:31

Hier weiss aber auch nie jemand etwas, sobald es in die Tiefe geht, oder wie

Des Raetsels Loesung heisst:

1. Frickelwerk PHP wegwerfen (ist eh voller Bugs).
2. Perl einsetzen (das macht alles so wie es soll, jetzt kann ich robo verstehen!).
3. Prozesse abspalten mit fork();

Beitrag von **Nexus** » 16.04.2005, 18:51

Hi,

Hier weiss aber auch nie jemand etwas, sobald es in die Tiefe geht, oder wie

Vielleicht geniessen manchen Leute auch einfach mal das Wochenende und das schöne Wetter *g*

Ich würde bei solche Dingen direkt auf C (kein C++) setzen. Ist nun mal für performancekritische Dinge immer noch das A und O.

Anregungen kann man sich z.B. bei https://www.htdig.org/ holen.

Ansonsten bietet sich auch Python an, ist allerdings etwas gewöhnungsbedürftig.

btw: warum nimmst du denn nicht dein ach so tolles Java

Gruß
Nexus

Beitrag von **Airport1** » 16.04.2005, 19:14

Nexus, keine [...] ueber Java

Mit Perl habe ich hier relativ schnelle Erfolge erzielen koennen. Da wo PHP sozusagen "abkackt", Bloedsinn macht, oder sich auf jedem WebServer anders verhaelt, dort kann Perl seine "semantisch eindeutigen und teilweise sehr intelligenten Funktionen" voll zur Geltung bringen. Ich war ueberrascht dass Perl sogar ohne Aufforderung einem HTTP 301 Redirect folgt, und auch von vielem anderem. Ein Manko: Die Art und Weise wie sozusagen vorgegeben wird "Perl Code zu schreiben" finde ich aber etwas kuenstlerisch angehaucht.