Wie schnell kommt ein Crawler durch einen Link-Iterator
Verfasst: 10.05.2005, 15:30
Beispiel:
Die 1. Seite linkt auf folgende drei Seiten: 1,2 ... 65
Die 2. Seite linkt auf folgende vier Seiten: 1,2,3 ... 65
Die 3. Seite linkt auf folgende fünf Seiten: 1 .. 2,3,4 .. 65
Ab der vierten Seite folgen immer 5 Seiten: 1 .. 3,4,5 .. 65
etc. Wie kommt ein Crawler durch solche Links und indexiert die Seiten? ...und erreicht er jemals die Seite 64?
Die 1. Seite linkt auf folgende drei Seiten: 1,2 ... 65
Die 2. Seite linkt auf folgende vier Seiten: 1,2,3 ... 65
Die 3. Seite linkt auf folgende fünf Seiten: 1 .. 2,3,4 .. 65
Ab der vierten Seite folgen immer 5 Seiten: 1 .. 3,4,5 .. 65
etc. Wie kommt ein Crawler durch solche Links und indexiert die Seiten? ...und erreicht er jemals die Seite 64?