Seite 1 von 1

Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 10.05.2005, 15:30
von zzz
Beispiel:

Die 1. Seite linkt auf folgende drei Seiten: 1,2 ... 65
Die 2. Seite linkt auf folgende vier Seiten: 1,2,3 ... 65
Die 3. Seite linkt auf folgende fünf Seiten: 1 .. 2,3,4 .. 65
Ab der vierten Seite folgen immer 5 Seiten: 1 .. 3,4,5 .. 65

etc. Wie kommt ein Crawler durch solche Links und indexiert die Seiten? ...und erreicht er jemals die Seite 64?

Verfasst:
von

Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 10.05.2005, 15:34
von SISTRIX
Kommt auf den Crawler und Deine Seite an.

Gruß Johannes

Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 10.05.2005, 15:40
von zzz
hmmm nehmen wir mal einen typischen Google Crawler und gehen von einfachen Links

https://www.domain.de/index.jsp?search=31
https://www.domain.de/index.jsp?search=41

etc aus, die relativ weit oben auf der Seite platziert sind

Verfasst:
von

Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 10.05.2005, 15:44
von SISTRIX
Dann kommt es nur noch auf Deine Seite an :)
Prinzipiell klappt das bei Google.

Gruß Johannes

Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 10.05.2005, 15:54
von zzz
Soll das heißen, dass Google,

(wenn ich dem Crawler keine üblen Seiten zumute, ich genügend Links auf die Startseite habe, mit einem ordentlichen PR von 6 die Crawler einlade und generell eine dufte Type bin :wink: )

so nett ist, den Crawler durch alle Seiten schickt und diese schnell indexiert werden sollten? Oder bringt es viel, wenn die erste Seite nicht nur 3 Links
Die 1. Seite linkt auf folgende drei Seiten: 1,2 ... 65
sondern vielleicht 8 Links
Die 1. Seite linkt auf folgende drei Seiten: 1,2,3,4,5,6,7 ... 65
hätte?

Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 10.05.2005, 15:58
von SloMo
Spannende Frage. Auf Seite 65 stehen alle 65 Links? Dann schätze ich wird ein einigermaßen geschickter Crawler die Seiten in der Reihenfolge 1,2,65,3,4,5,...,64 abarbeiten. Denn ab dem 3. Link (S.65) kennt er ja alle Links.

Das Crawlerverhalten hat mich aber bis jetzt noch nicht sehr interessiert. Solange der Bot überhaupt alle Seiten findet, bin ich zufrieden :D

Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 10.05.2005, 16:06
von zzz
nein, leider nicht.

bislang stehen aus Platzgründen höchstens 5 Seiten dort immer die Seite 1 und die letzte, sowie die aktuell ausgewählte und diejenige davor und dahinter.

Auf Seite 65 findet der Crwaler also die Seiten 1,64,65
Auf Seite 32 findet der Crwaler also die seiten 1,31,32,33,65

er muss also tatsächlich einmal durch die gesamte Reihe durch (von vorne und/oder hinten). Meine Frage ich, wann mag er einmal durch sein.

Ein Crawl, Tage, Wochen, Monate?

Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 10.05.2005, 17:07
von schorsch
wieso links du nicht von seite 1 die seiten 2-10 und auf den seiten 2-10 linkst du die seiten 11-100 jeweils auf die seiten aufgeteilt. die seiten 11-100 kannste dann untereinander wild verlinken zb. auf allen seiten 11-100 werden 5 weitere seiten 11-100 verlinkt. generell noch von jeder seite ein link auf 1 und die seiten 11-100 linken jeweils nochmal auf eine der seiten 2-10. verstanden? :)
dabei kann der bot jede seite über mindestens 3 "klicks" erreichen.
das ist um einiges flacher als bei dir, da er für die mittleren seiten mehr "klicks" benötigt um sie zu finden.

gruss

schorsch

Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 11.05.2005, 15:37
von Charles
Hallo ZZZ!

Wenn Du die Seite meinst, die Du verlinkt hast, dann sorge erstmal dafür, daß auch die richtige URL auftaucht und nicht "web870..." auch bei den internen Links taucht mal die eine und mal die andere URL auf.

Die A-Z Verlinkung unten führt immer nur zu a und die Seite fehlt...

Zum obigen Problem: mach einfach eine saubere Sitemap und verlinke diese direkt von der Startseite!

Gruß
Charles

Re: Wie schnell kommt ein Crawler durch einen Link-Iterator

Verfasst: 12.05.2005, 14:38
von zzz
Hallo Charles,

nein, es geht nicht um die verlinkte Seite. Dieses ist eine private seite, an der ich gerade bastele. Daher die verschiedenen URLs und Serverlinks - und viele tote bzw. veraltete Seiten. Das wird sich wieder ändern.

Stattdessen zielt meine Frage auf eine größere Seite mit einigen hunderttausen Seiten und einem Verzeichnis, das ca 50 Überrubriken mit jeweils bis zu 65 Unterrubriken enthält. Ich hatte gehofft, dass ein crawler einfach durch den Linkiterator kommt und ich an der Stelle keine Sitemap benötigen würde.
Charles hat geschrieben:Hallo ZZZ!

Wenn Du die Seite meinst, die Du verlinkt hast, dann sorge erstmal dafür, daß auch die richtige URL auftaucht und nicht "web870..." auch bei den internen Links taucht mal die eine und mal die andere URL auf.

Die A-Z Verlinkung unten führt immer nur zu a und die Seite fehlt...

Zum obigen Problem: mach einfach eine saubere Sitemap und verlinke diese direkt von der Startseite!

Gruß
Charles