weiss jemand, wie die Arbeitsweise von Suchmaschinen abläuft? Damit meine ich nicht den Algorithmus, auch nicht die Vererbung oder Serps..mir geht es lediglich um den Ablauf des Spiders.
Um die Fragestellung zu konkretisieren...
Suma betritt eine Seite..findet auf dieser Seite ausgehende Links...sagen wir mal 10...folgt dann die Suma diesen Links sofort oder arbeitet Sie erst die Seite ab? Wenn sie nicht gleich folgt, muss sie ja vermerken das dort diese ausgehenden Links waren um die Seite, falls noch nicht im index...später zu besuchen und indexieren...demnach müsste im Hintergrund Daten gespeichert werden, die eigentlich unverwaltbar sind und für mich schwer vorstellbar kontrolliert werden können. Sicherlich bestimmt der Rank wie oft die Seite besucht wird....zuerst kommt der Scout, welcher Veränderungen erfasst, vermerkt und dann später die ganze Deepcrawler Familie vorbeischickt...
Arbeitet die Suma sich also nach eine Liste vor..von A-Z und fängt dann von vorne an..oder ist der Spider willkürlich unterwegs und frißt sich durchs netz..mit eigendynamik und selbstkontrolle...und während dessen er sich so vollfrißt und immer dicker wird muss er sich seiner daten ja auch mal entledigen, welche dann aber auch wieder gepflegt werden müssen....ok, ich denke die Fragestellung ist klar..ich möchte kein Spider sein
