ZoneSpy 2.0 - jetzt mit Echtzeitregistratur

[Sensei]

Achtung, halb Off-Topic:

Habe hier im Beitrag gelesen, dass Zonespy rund 1.000 Domains pro Sekunde prüfen kann. Das hatte meinen Ehrgeiz als Programmierer geweckt, ich wollte wissen ob ich es toppen kann.

Heraus kam ein Programm, was auf einem 10 Euro vServer gut das Doppelte schafft. Ich möchte das ganze weder Online stellen noch zu einem kommerziellen Dienst machen. Aber ich würde es verkaufen und freue mich über PM's

martin

denke da wären beweise ganz hilfreich oder?

[active-seo]

@wiesel: zonespy in der alten Version fand ich ehrlich gesagt sehr gut und ich finde es schade, dass der Dienst jetzt voll kostenpflichtig ist. Ich glaube auch nicht, dass es für sehr viele in Frage kommt. Ich hätte es schlauer gefunden den Dienst als solches kostenlos zu belassen und dafür bestimmte Features (Suchagent etc.) bei Nutzung kostenpflichtig zu machen. Quasi ein Konto einzurichten über das bestimmte Funktionen berechnet werden so sie denn genutzt werden...

Das neue Tarifmodell finde ich zu starr und den Grundpreis zu hoch (sorry).

Ich hatte Zonespy als kostenlosen Tipp verlinkt - muss ich jetzt wohl entfernen.

[seo-link]

Wer Qualität haben will, muß dafür auch bezahlen.
Ist doch bei den SEO´s nicht anderst

[wiesel]

Achtung, halb Off-Topic:

Habe hier im Beitrag gelesen, dass Zonespy rund 1.000 Domains pro Sekunde prüfen kann. Das hatte meinen Ehrgeiz als Programmierer geweckt, ich wollte wissen ob ich es toppen kann.

Heraus kam ein Programm, was auf einem 10 Euro vServer gut das Doppelte schafft. Ich möchte das ganze weder Online stellen noch zu einem kommerziellen Dienst machen. Aber ich würde es verkaufen und freue mich über PM's

martin

1 Post und solch großen Töne. Ich wage ja schonmal zu bezweifeln, dass ein SQL Server auf'nem vServer 1000 Updates auf'nen Index schafft, nichtmal als MySQL/InnoDB Kombi. 10 Euro Server schonmal garnicht, die haben wenn überhaupt SATA Platten mit 7.200 RPM und Zugriffszeiten > 8 ms. Den Cache kann man ignorieren, der nutzt nichts wenn die Platte mit schreiben nicht hinterher kommt. Rechnet man noch den Overhead von System und Datenbank dazu, ist das physikalisch unmöglich. Von den 50 anderen virtuellen Systemen mal ganz abgesehen... Du kannst zwar alles auf'ner RAM-Disk schaufeln aber ab ein paar Mio. Datensätzen ist das eine gefährliche spielerei.

[martin85]

1 Post und solch großen Töne. Ich wage ja schonmal zu bezweifeln, dass ein SQL Server auf'nem vServer 1000 Updates auf'nen Index schafft, nichtmal als MySQL/InnoDB Kombi. 10 Euro Server schonmal garnicht, die haben wenn überhaupt SATA Platten mit 7.200 RPM und Zugriffszeiten > 8 ms. Den Cache kann man ignorieren, der nutzt nichts wenn die Platte mit schreiben nicht hinterher kommt. Rechnet man noch den Overhead von System und Datenbank dazu, ist das physikalisch unmöglich. Von den 50 anderen virtuellen Systemen mal ganz abgesehen... Du kannst zwar alles auf'ner RAM-Disk schaufeln aber ab ein paar Mio. Datensätzen ist das eine gefährliche spielerei.

Wie kommst du auf die 1.000 SQL-Updates pro Sekunde? Speicherst du jedes ermittelte "nicht-frei" einzeln in der Datenbank? Oder hast du das ganze vielleicht mit Selects verwechselt? Bei den Datenmengen von denen wir hier reden, solltest du die Abläufe auf die allernötigsten Rechenschritte reduzieren.

Ein paar Denkanstöße, ich gehe einfach mal davon aus du machst DNS-Abfragen:
- Textdateien statt SQL-Datenbanken verwenden
- Domains beim Programmstart in den RAM (keine RAM-Disk!) laden
- Multithreading & adns (https://www.chiark.greenend.org.uk/~ian/adns/)
- DNS-Abfragen auf die nötigsten Inhalte reduzieren (= Datenmenge)
- nur freigewordene Domains verarbeiten

Die Festplattengeschwindigkeit (sowohl lesend als auch schreibend) sind bei mir völlig irrelevant. Auch um Datenbanken, Overheads, und physikalische Probleme muss ich mir keine Sorgen machen. Mein Flaschenhals ist die Anbindung, weshalb das ganze auch (getestet) auf einem dedizierten Quadcore nicht viel schneller wird.

Wie allen anderen die mich per PM angeschrieben haben pushe ich auch dir gern meine gefundenen Domains testweise zu. Schick mir dazu einfach eine URL (Bsp.: domain.tld/import.php?d=beispiel.de) wohin das ganze gehen soll.

Weitere Fragen beantworte ich dir gern per PM, ich will deinen Thread nicht für mein (Test)Programm missbrauchen.

[wiesel]

Wie kommst du auf die 1.000 SQL-Updates pro Sekunde? Speicherst du jedes ermittelte "nicht-frei" einzeln in der Datenbank? Oder hast du das ganze vielleicht mit Selects verwechselt?

Die gefundenen kommen natürlich in eine andere Tabelle. Trotzdem sollte der Pool einen Flag haben, ob die Domain schon geprüft oder nicht. Da kommst du bei mehreren Prozessen nicht drum rum, außer Du teilst den Pool auf. Und der Flag ist ein Index und da muß nunmal ein Update nach jeder Prüfung drauf.

Mein Flaschenhals ist die Anbindung, weshalb das ganze auch (getestet) auf einem dedizierten Quadcore nicht viel schneller wird.

Und wenn du dann deinen Server ins RZ mit 5x40 Gigabit Anbindung gekarrt hast wirst du feststellen, dass dann die Platte der Flaschenhals ist Wenn du alles im RAM hast stört das nicht, aber ich weiß meine Daten lieber sicher auf der Platte.

[martin85]

Trotzdem sollte der Pool einen Flag haben, ob die Domain schon geprüft oder nicht. Da kommst du bei mehreren Prozessen nicht drum rum, außer Du teilst den Pool auf.

Mache ich alles direkt im RAM, eine Datenbank ist zu langsam.

Und wenn du dann deinen Server ins RZ mit 5x40 Gigabit Anbindung gekarrt hast wirst du feststellen, dass dann die Platte der Flaschenhals ist

Hab noch nirgends eine 40 oder gar 200 Gigabit Netzwerkkarte gesehen.

Wenn du alles im RAM hast stört das nicht, aber ich weiß meine Daten lieber sicher auf der Platte.

Meine RAM-Daten gehen auch nur bei einem (Server-)Absturz verloren. Da ich das Programm dann aber sowieso wieder neu starten muss werden diese ja erneut in den RAM geladen

Ich hab dir - bis auf einen entscheidenden Trick - mittlerweile nicht nur die Funktionsweise meines Programmes erklärt sondern, sogar einen passenden Link zum Nachbau gegeben. Alternativ steht das Angebot mit dem Testbetrieb nach wie vor.

[wiesel]

Ich habe ja nie behauptet, dass Du keine 1000 Abfragen schaffst, nur dass ein 10 Euro vServer dafür nicht ausgelegt ist: Die Platten sind zu langsam bzw. der RAM zu klein.
Wenn du alles im RAM hältst ist es irrelevant was du als Backend einsetzt, das ist dann alles schnell. Bin natürlich nicht mit zig Gigabit abgebunden, wollte nur zum Ausdruck bringen, dass ich meine Netzwerkkarte voll ausnutzen kann und hier kein Flaschenhals entsteht.
Ein Programm oder Bibliothek für DNS Queries nutze ich nicht. Habe da selbst was geschrieben und baue meine Pakete selber. Ich bin gerne für Anregungen offen, denke aber, dass nach 3 Jahren intensiven Recherchen nicht mehr viel zu optimieren ist. Angefangen, dass meine Bots max. 5 Hops vom den Denic DNS stehen, über spezielle TCP Header Flags bis hin zur dezentralen, redundanten, aufgeborten MySQL DB.

[wiesel]

Ab sofort ist es möglich Domains direkt über ZoneSpy zu registrieren. Der Registrierungsvorgang kann Live verfolgt werden und dauert - je nach Denic Auslastung - nur wenige Sekunden.