ich bin vor ca. 4 Wochen von einer Subdomain-Seitenstruktur auf Subfolder umgestiegen. Die alten URLs leiten via 301 auf die neue Struktur um und es gibt keine internen links mehr auf die alten URLs. Kurzzeitig sah es so aus, als ob Google nach und nach die alten URLs aus dem index nimmt.
Bspw. gab es unter bayern.domain.com 200.000 Einträge die dann auf ca. 15.000 runter sind. Nun sind aber wieder über 150.000 Einträge gelistet und die subdomains werden laut logfile täglich intensivst gecrawlt. Die Crawlintensität auf den subdomains wird auch nicht weniger.
Was sind Eure Erfahrungswerte? Wie lange dauert es bis die Ergebnisse aus dem INdex verschwinden und das Crawlen nachlässt? Lässt das beschriebene Verhalten evtl. auf einen Fehler in der Struktur schließen (vergessene Links) ?
2 Wochen sind schon lang vorbei. Ich hab eine subdomain gerade dem WMT hinzugefügt und dort zeigen die Crawlstats zumindest das die Crawlingfrequenz gegen 0 geht. Jedoch sind die Seiten immer noch im Index.
Ein Aufruf "wie durch google bot" bietet folgenden Header:
HTTP/1.1 301 Moved Permanently
Date: Fri, 04 Nov 2011 14:11:27 GMT
Server: Apache
Cache-Control: max-age=300
Expires: Fri, 04 Nov 2011 14:16:27 GMT
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 20
Keep-Alive: timeout=2, max=100
Connection: Keep-Alive
Content-Type: text/html
Ich frag mich gerade obs evtl. am expired liegt das der google bot ständig wieder vorbeischaut.
Ich lasse immer Links auf die alte url stehen, bis die neuen urls im Index sind und die alten raus. Selbst bei Seiten mit seltenem Bot-Besuch habe ich nie lange warten müssen.
Die Seiten sind leider immernoch im Index. Google crawlt fleißig weiter und die intensität des crawlings lässt nicht mal ansatzweise nach.
für bayern.domain.com sind immer noch über 85.000 Seiten im Index
Was ebenfalls auffällig und ärgerlich ist: Der Sichtbarkeitsindex von Sistrix für die Gesamtdomain ist gesunken. Scheinbar sind die per 301 umgeleiteten Seiten zwar noch im Index, werden aber nicht mehr gezeigt. Die Zielseite der 301, also die Subfolder, kompensieren den Verlust nicht. Die Umstellung war ergo aus bisheriger Sicht ein hoher Verlust an Sichtbarkeit.