Crawling = Indexierung ?
Verfasst: 18.04.2009, 13:06
Hi Leute,
Hab mal ne generelle Frage.
Wenn ein Suchmaschinenbot wie z.b. der Googlebot Seite crawlt, welche Faktoren bestimmen ob die dann auch indexiert werden. Hatte Anfang April zwei Tage wo 20.000 Seiten meiner Website gecrawlt wurden (normal so 5000 im Schnitt pro Tag) aber irgendwie nimmt der die trotzdem nicht in den Index auf. Welche Faktoren können dieses Verhalten hervorufen?
Hab mal ne generelle Frage.
Wenn ein Suchmaschinenbot wie z.b. der Googlebot Seite crawlt, welche Faktoren bestimmen ob die dann auch indexiert werden. Hatte Anfang April zwei Tage wo 20.000 Seiten meiner Website gecrawlt wurden (normal so 5000 im Schnitt pro Tag) aber irgendwie nimmt der die trotzdem nicht in den Index auf. Welche Faktoren können dieses Verhalten hervorufen?