Seite 1 von 1
Wie crawlt Google eine Seite mit Unterseiten ?
Verfasst: 03.01.2012, 13:16
von roland77
Hallo liebe Leute,
wie geht Google bei einer verschachtelten Seite vor, die mehrere Ebenen tief ist ?
Werden da zuerst alle Unterseiten ausgehend von der Hauptdomain gecrawlt (Ebene 2) und dann die tieferen Ebenen oder zuerst jede einzelne Seite mit den jeweiligen Unterseiten (Ebene 2+3) ?
Lieben Gruß,
Roland
Zuerst bis Ebene 2 (Siehe Grafik Punkt 2)
Zuerst bis Ebene 3 (Siehe Grafik Punkt 3) danach weitere aus Ebene 2
Verfasst: 03.01.2012, 13:30
von om-labs
Das Crawlen ist nicht so strukturell oder hierarisch, wie du dir das denkst.
Mehr Chaotisch organisiert, schon auf Grunden der Vielzahl an Quellen die den Bot bewegen schnell mal zu crawlen.
Feeds
Google Toolbar
Link
XML Sitemap, usw.
Stellt dir vor, du hast gerade einen neuen Wordpress Blog aufgesetzt und deinen ersten Artikel geschrieben. Kategorien und Unterseiten sind auch angelegt.
Über die installierte Google Toolbar im Firefox kennt Google deine neue Domain und deinen Blog aber schon und der Crawler ist schon unterwegs. Dann wird einfach weitergecrawlt nach dem was der Bot findet.
Der Bot fängt einfach damit an, was er als erstes findet und geht dann weiter.
Das kann eben auch dein erster Artikel im Blog sein und nicht die Startseite.
Verfasst: 03.01.2012, 13:36
von roland77
Danke für die Antwort,
Also meine Sitemap beinhaltet nur die Links aus der Ebene 2, deshalb die Frage.
Erkennt Google eigentlich auch neue Seiten anhand von Adwords oder Analytics?
Jetzt mal als Beispiel Suchergebnisseiten, die weder in der Sitemap noch in der Menüstruktur vorhanden sind ?
Lieben Gruß,
Roland
Verfasst: 03.01.2012, 13:41
von om-labs
Adwords Bot ist ein komplett anderer Bot. Analytics weiss ich nicht ob es zum crawlen bemüht wird, aber denkbar.
Der Crawler füllt auch (Such-)formulare aus, sogn. Deep Crawling.
Verfasst: 03.01.2012, 13:59
von roland77
Ok, vielleicht wäre es dann noch ganz sinnvoll eine Tagcloud für Suchanfragen einzubauen.
