wie geht Google bei einer verschachtelten Seite vor, die mehrere Ebenen tief ist ?
Werden da zuerst alle Unterseiten ausgehend von der Hauptdomain gecrawlt (Ebene 2) und dann die tieferen Ebenen oder zuerst jede einzelne Seite mit den jeweiligen Unterseiten (Ebene 2+3) ?
Lieben Gruß,
Roland
Zuerst bis Ebene 2 (Siehe Grafik Punkt 2)
Zuerst bis Ebene 3 (Siehe Grafik Punkt 3) danach weitere aus Ebene 2
Das Crawlen ist nicht so strukturell oder hierarisch, wie du dir das denkst.
Mehr Chaotisch organisiert, schon auf Grunden der Vielzahl an Quellen die den Bot bewegen schnell mal zu crawlen.
Feeds
Google Toolbar
Link
XML Sitemap, usw.
Stellt dir vor, du hast gerade einen neuen Wordpress Blog aufgesetzt und deinen ersten Artikel geschrieben. Kategorien und Unterseiten sind auch angelegt.
Über die installierte Google Toolbar im Firefox kennt Google deine neue Domain und deinen Blog aber schon und der Crawler ist schon unterwegs. Dann wird einfach weitergecrawlt nach dem was der Bot findet.
Der Bot fängt einfach damit an, was er als erstes findet und geht dann weiter.
Das kann eben auch dein erster Artikel im Blog sein und nicht die Startseite.