Googlebot Deep Crawl / Unstimmigkeiten
Verfasst: 28.10.2005, 19:56
Ich habe festgestellt, dass der Googlebot seit Tagen nur noch die index.php spidert.
Der letzte DeepCrawl war am 17 Oktober wo fast alle Seiten durchlaufen wurden.
Könnt Ihr ähnliches Verhalten des Googlebot bestätigen?
Ich bin mir auch nict ganz sicher, ob nicht folgende Anweisung in der robots.txt zur Reduzierung des Spider Verhaltens beigetragen hat:
Disallow /*_newpost.html$
Laut Google selbst, sollte damit alles was mit _newpost.html endet nicht gespidert werden.
Ich hatte für einen Moment überlegt, ob nicht die Interpretation (warum auch immer) auf alle HTML Seiten erstreckt wurde ... was eigentlich, wenn man Google glauben schenken darf, bei der o.g. Anweisung nicht sein darf.
Es würde mich interesieren, wie das Spiderverhalten bei Euch aussieht?
Sstzt der Googlebot nur in nunmehr größeren Abständen zum Deep Crawl an?
Der letzte DeepCrawl war am 17 Oktober wo fast alle Seiten durchlaufen wurden.
Könnt Ihr ähnliches Verhalten des Googlebot bestätigen?
Ich bin mir auch nict ganz sicher, ob nicht folgende Anweisung in der robots.txt zur Reduzierung des Spider Verhaltens beigetragen hat:
Disallow /*_newpost.html$
Laut Google selbst, sollte damit alles was mit _newpost.html endet nicht gespidert werden.
Ich hatte für einen Moment überlegt, ob nicht die Interpretation (warum auch immer) auf alle HTML Seiten erstreckt wurde ... was eigentlich, wenn man Google glauben schenken darf, bei der o.g. Anweisung nicht sein darf.
Es würde mich interesieren, wie das Spiderverhalten bei Euch aussieht?
Sstzt der Googlebot nur in nunmehr größeren Abständen zum Deep Crawl an?
