Wie schnell kommt ein Crawler durch einen Link-Iterator

Beitrag von **zzz** » 10.05.2005, 15:30

Beispiel:

Die 1. Seite linkt auf folgende drei Seiten: 1,2 ... 65
Die 2. Seite linkt auf folgende vier Seiten: 1,2,3 ... 65
Die 3. Seite linkt auf folgende fünf Seiten: 1 .. 2,3,4 .. 65
Ab der vierten Seite folgen immer 5 Seiten: 1 .. 3,4,5 .. 65

etc. Wie kommt ein Crawler durch solche Links und indexiert die Seiten? ...und erreicht er jemals die Seite 64?

von **Anzeige von ABAKUS** »

Beitrag von **SISTRIX** » 10.05.2005, 15:34

Kommt auf den Crawler und Deine Seite an.

Gruß Johannes

Beitrag von **zzz** » 10.05.2005, 15:40

hmmm nehmen wir mal einen typischen Google Crawler und gehen von einfachen Links

https://www.domain.de/index.jsp?search=31
https://www.domain.de/index.jsp?search=41

etc aus, die relativ weit oben auf der Seite platziert sind

von **Anzeige von ABAKUS** »

Beitrag von **SISTRIX** » 10.05.2005, 15:44

Dann kommt es nur noch auf Deine Seite an

Prinzipiell klappt das bei Google.

Gruß Johannes

Beitrag von **zzz** » 10.05.2005, 15:54

Soll das heißen, dass Google,

(wenn ich dem Crawler keine üblen Seiten zumute, ich genügend Links auf die Startseite habe, mit einem ordentlichen PR von 6 die Crawler einlade und generell eine dufte Type bin

)

so nett ist, den Crawler durch alle Seiten schickt und diese schnell indexiert werden sollten? Oder bringt es viel, wenn die erste Seite nicht nur 3 Links
Die 1. Seite linkt auf folgende drei Seiten: 1,2 ... 65
sondern vielleicht 8 Links
Die 1. Seite linkt auf folgende drei Seiten: 1,2,3,4,5,6,7 ... 65
hätte?

Beitrag von **SloMo** » 10.05.2005, 15:58

Spannende Frage. Auf Seite 65 stehen alle 65 Links? Dann schätze ich wird ein einigermaßen geschickter Crawler die Seiten in der Reihenfolge 1,2,65,3,4,5,...,64 abarbeiten. Denn ab dem 3. Link (S.65) kennt er ja alle Links.

Das Crawlerverhalten hat mich aber bis jetzt noch nicht sehr interessiert. Solange der Bot überhaupt alle Seiten findet, bin ich zufrieden

Beitrag von **zzz** » 10.05.2005, 16:06

nein, leider nicht.

bislang stehen aus Platzgründen höchstens 5 Seiten dort immer die Seite 1 und die letzte, sowie die aktuell ausgewählte und diejenige davor und dahinter.

Auf Seite 65 findet der Crwaler also die Seiten 1,64,65
Auf Seite 32 findet der Crwaler also die seiten 1,31,32,33,65

er muss also tatsächlich einmal durch die gesamte Reihe durch (von vorne und/oder hinten). Meine Frage ich, wann mag er einmal durch sein.

Ein Crawl, Tage, Wochen, Monate?

Beitrag von **schorsch** » 10.05.2005, 17:07

wieso links du nicht von seite 1 die seiten 2-10 und auf den seiten 2-10 linkst du die seiten 11-100 jeweils auf die seiten aufgeteilt. die seiten 11-100 kannste dann untereinander wild verlinken zb. auf allen seiten 11-100 werden 5 weitere seiten 11-100 verlinkt. generell noch von jeder seite ein link auf 1 und die seiten 11-100 linken jeweils nochmal auf eine der seiten 2-10. verstanden?

dabei kann der bot jede seite über mindestens 3 "klicks" erreichen.
das ist um einiges flacher als bei dir, da er für die mittleren seiten mehr "klicks" benötigt um sie zu finden.

gruss

schorsch

Beitrag von **Charles** » 11.05.2005, 15:37

Hallo ZZZ!

Wenn Du die Seite meinst, die Du verlinkt hast, dann sorge erstmal dafür, daß auch die richtige URL auftaucht und nicht "web870..." auch bei den internen Links taucht mal die eine und mal die andere URL auf.

Die A-Z Verlinkung unten führt immer nur zu a und die Seite fehlt...

Zum obigen Problem: mach einfach eine saubere Sitemap und verlinke diese direkt von der Startseite!

Gruß
Charles

Beitrag von **zzz** » 12.05.2005, 14:38

Hallo Charles,

nein, es geht nicht um die verlinkte Seite. Dieses ist eine private seite, an der ich gerade bastele. Daher die verschiedenen URLs und Serverlinks - und viele tote bzw. veraltete Seiten. Das wird sich wieder ändern.

Stattdessen zielt meine Frage auf eine größere Seite mit einigen hunderttausen Seiten und einem Verzeichnis, das ca 50 Überrubriken mit jeweils bis zu 65 Unterrubriken enthält. Ich hatte gehofft, dass ein crawler einfach durch den Linkiterator kommt und ich an der Stelle keine Sitemap benötigen würde.

Charles hat geschrieben:Hallo ZZZ!

Wenn Du die Seite meinst, die Du verlinkt hast, dann sorge erstmal dafür, daß auch die richtige URL auftaucht und nicht "web870..." auch bei den internen Links taucht mal die eine und mal die andere URL auf.

Die A-Z Verlinkung unten führt immer nur zu a und die Seite fehlt...

Zum obigen Problem: mach einfach eine saubere Sitemap und verlinke diese direkt von der Startseite!

Gruß
Charles