haakon hat geschrieben:Nicht das ich ein wenig ungeduldig bin

...
Geht der Bot nicht gleichzeitig über den Link, oder nimmt er die Daten schon mit und "wertet" diese erst zuhause aus ?
Wenn du Straßen, zwecks Katalogiesierung oder so, abfährst ....
... G hat doch KamaeraAutos rumfahren .....
kannst du an eine Kreuzung mehrfach, gleichzeitig, in mehrere Richtungen weiterfahren?
Ein Programm kann sich teoretisch aufteilen .....
... aber wieviele Instanzen sollen gleichzeitig laufen?
jede braucht etwas eigenen Speicher .... 8.000.000.000 mal nur "ein Byte" .... ok, wäre noch denkbar das ein Rechner 8GigaRam(kein Swap) hat
aber soviele paralell laufenden Prozesse .... die würden ewig brauchen bis sie vertig sind
Er speidert ein htmlDoc legt die gefundenen URLs in die Pipeline, wenn sie nicht schon drin stehen, und irgendwann kommen sie dran
so hab ich es auf jedenfall in meinem kleinen Versuch einen Spider zu coden gemacht (ist schon Monate her, war ein kleines Experiment)
Gruß
Andy 800XE Zmuda