Googlebot holt sich bei Crawl auch externe CSS-Dateien
Verfasst: 23.06.2006, 09:35
Ich weiß nicht, inwieweit das schon länger der Fall oder allgemein bekannt ist, aber mir ist heute erstmals aufgefallen, daß der Googlebot auch externe CSS-Dateien beim Crawl herunterlädt:
Das Verhalten konnte ich bei mehreren CSS-Dateien (unter anderem auch Druck-Stylesheets) beobachten. In allen Fällen liegt die CSS-Datei im gleichen Verzeichnis wie die zugehörige HTML-Datei. Der Zugriff auf die CSS-Dateien erfolgte nicht in Zusammenhang mit einem Zugriff auf die zugehörige HTML Datei. Die CSS-Dateien waren nicht per robots.txt vom Crawlen ausgeschlossen. Eine Verlinkung der CSS-Dateien von anderen Seiten kann ich ausschließen.
Es darf also spekuliert werden...
Code: Alles auswählen
66.249.66.45 - - [23/Jun/2006:03:58:08 +0200]
"GET /contergan/print.css HTTP/1.1"
200 653 www.k-faktor.com "-"
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
"-"
Es darf also spekuliert werden...

