Wie crawlt Google eine Seite mit Unterseiten ?

Beitrag von **roland77** » 03.01.2012, 13:16

Hallo liebe Leute,

wie geht Google bei einer verschachtelten Seite vor, die mehrere Ebenen tief ist ?

Werden da zuerst alle Unterseiten ausgehend von der Hauptdomain gecrawlt (Ebene 2) und dann die tieferen Ebenen oder zuerst jede einzelne Seite mit den jeweiligen Unterseiten (Ebene 2+3) ?

Lieben Gruß,
Roland

Zuerst bis Ebene 2 (Siehe Grafik Punkt 2)
Zuerst bis Ebene 3 (Siehe Grafik Punkt 3) danach weitere aus Ebene 2

Bild

von **Anzeige von ABAKUS** »

Beitrag von **om-labs** » 03.01.2012, 13:30

Das Crawlen ist nicht so strukturell oder hierarisch, wie du dir das denkst.
Mehr Chaotisch organisiert, schon auf Grunden der Vielzahl an Quellen die den Bot bewegen schnell mal zu crawlen.
Feeds
Google Toolbar
Link
XML Sitemap, usw.

Stellt dir vor, du hast gerade einen neuen Wordpress Blog aufgesetzt und deinen ersten Artikel geschrieben. Kategorien und Unterseiten sind auch angelegt.

Über die installierte Google Toolbar im Firefox kennt Google deine neue Domain und deinen Blog aber schon und der Crawler ist schon unterwegs. Dann wird einfach weitergecrawlt nach dem was der Bot findet.
Der Bot fängt einfach damit an, was er als erstes findet und geht dann weiter.
Das kann eben auch dein erster Artikel im Blog sein und nicht die Startseite.

Beitrag von **roland77** » 03.01.2012, 13:36

Danke für die Antwort,

Also meine Sitemap beinhaltet nur die Links aus der Ebene 2, deshalb die Frage.

Erkennt Google eigentlich auch neue Seiten anhand von Adwords oder Analytics?

Jetzt mal als Beispiel Suchergebnisseiten, die weder in der Sitemap noch in der Menüstruktur vorhanden sind ?

Lieben Gruß,
Roland

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **om-labs** » 03.01.2012, 13:41

Adwords Bot ist ein komplett anderer Bot. Analytics weiss ich nicht ob es zum crawlen bemüht wird, aber denkbar.

Der Crawler füllt auch (Such-)formulare aus, sogn. Deep Crawling.

Beitrag von **roland77** » 03.01.2012, 13:59

Ok, vielleicht wäre es dann noch ganz sinnvoll eine Tagcloud für Suchanfragen einzubauen.