Googlebot holt sich bei Crawl auch externe CSS-Dateien

Beitrag von **phereia** » 23.06.2006, 09:35

Ich weiß nicht, inwieweit das schon länger der Fall oder allgemein bekannt ist, aber mir ist heute erstmals aufgefallen, daß der Googlebot auch externe CSS-Dateien beim Crawl herunterlädt:

Code: Alles auswählen

66.249.66.45 - - &#91;23/Jun/2006&#58;03&#58;58&#58;08 +0200&#93; 
  "GET /contergan/print.css HTTP/1.1"
  200 653 www.k-faktor.com "-" 
  "Mozilla/5.0 &#40;compatible; Googlebot/2.1; +http&#58;//www.google.com/bot.html&#41;"
  "-"

Das Verhalten konnte ich bei mehreren CSS-Dateien (unter anderem auch Druck-Stylesheets) beobachten. In allen Fällen liegt die CSS-Datei im gleichen Verzeichnis wie die zugehörige HTML-Datei. Der Zugriff auf die CSS-Dateien erfolgte nicht in Zusammenhang mit einem Zugriff auf die zugehörige HTML Datei. Die CSS-Dateien waren nicht per robots.txt vom Crawlen ausgeschlossen. Eine Verlinkung der CSS-Dateien von anderen Seiten kann ich ausschließen.
Es darf also spekuliert werden...

von **Anzeige von ABAKUS** »

Beitrag von **Pretender** » 23.06.2006, 10:02

Vermuten tue ich das auch allerdings bin ich mir in Deinem Beispiel nicht sicher, da es sich scheinbar nicht um ein Googlebot IP "66.249.66.45" handelt.

Aber vieleicht kenne ich diese IP nur nicht.

Beitrag von **oldInternetUser** » 23.06.2006, 10:11

Yep: Die letzten Tage fehlte das noch, soeben habe ich mir das Protokoll von heute gezogen - da wurden alle bei mir verwendeten CSS-Dateien geholt.

Und da diese bei mir am Beginn der Auflistung stehen, hätte ich das früher schon merken müssen - also dürfte es heute das erste Mal gewesen sein.

IP: 66.249.65.199 - gehört zu google (tracert).

Interessant ist, daß nur 7 Hops nötig sind, um auf die IP zu kommen - das ist eine sehr direkte Netzanbindung (Telekom-DSL).

von **Anzeige von ABAKUS** »

Beitrag von **Pretender** » 23.06.2006, 10:14

Die Frage ist: was will Google damit?

Beitrag von **unknownsoul** » 23.06.2006, 10:16

Vielleicht endlich mal die Seiten kicken, die weiße Schrift auf weißen Hintergrund haben. Da tümmeln sich genügend auf den ersten Plätzen.

Beitrag von **twiggie** » 23.06.2006, 10:16

Die Frage ist: was will Google damit?

Na das ist doch nicht schwer, denk mal selber nach

Beitrag von **oldInternetUser** » 23.06.2006, 10:20

Interessanter sind solche Dinge, wo Container durch eine externe Klassenanweisung mit -1000px nach oben ausgelagert worden sind. Oder wo in einer externen Datei per z-Index etwas verborgen wird.

Beitrag von **Pretender** » 23.06.2006, 10:20

Naja, mir ist schon mehr oder weniger klar was Google damit will aber ich frage mich, ob ein Bot entscheiden kann ob es sich um ein Trick handelt um Text zu verstecken oder ob es einfach ein Style ist wie zum Bespiel: "overflow:auto;" oder irgendwelche "hidden gedöngse" die man duchaus auch als Styleelemet verwenden kann

Beitrag von **unknownsoul** » 23.06.2006, 10:23

Am besten einfach nicht tricksen, wenn man langfristig Erfolg haben möchte. Schon alleine weil die Konkurrenz ständig aufpasst.

Beitrag von **Pretender** » 23.06.2006, 10:23

Wenn man z.B. mit einem Maushover einen bestimmten Text anzeigen lassen möchte.... Das kann man als versteckten sehen, da es das auch ist aber man macht soetwas nicht immer

um Text als Trick zu verstecken.

sozusagen

Beitrag von **unknownsoul** » 23.06.2006, 10:28

Würde ich nicht meinen Pretender, denn den Text kann jeder User sehen, wenn er drüber fährt. Sowas macht oft auch Sinn. Vor allem bei Grafiken.

Aber es gibt auch sinnlose Texte fürs Keywordspamming die komisch zu lesen wären. Und die sind immer versteckt.

Beitrag von **phereia** » 23.06.2006, 10:35

Pretender hat geschrieben:Naja, mir ist schon mehr oder weniger klar was Google damit will aber ich frage mich, ob ein Bot entscheiden kann ob es sich um ein Trick handelt um Text zu verstecken oder ob es einfach ein Style ist wie zum Bespiel: "overflow:auto;" oder irgendwelche "hidden gedöngse" die man duchaus auch als Styleelemet verwenden kann

Meiner Meinung nach kann der Bot das bisher nicht und wird es auf absehbare Zeit nicht können. Ich habe eine Testseite online, bei der in der HTML-Datei alle gängigen "schmutzigen" CSS Tricks angewendet werden um Text zu verstecken. Die Seite erfreut sich google-technisch bester Gesundheit.

Ich könnte mir allerdings vorstellen, daß Google versucht, CSS-Dateien einen empirisch ermittelten "Spam-Score" zuzuweisen, der dann möglicherweise als ein kleines Mosaiksteinchen neben ganz viel anderen in die Wertung einer Seite einfließt.
Dazu müßte man nur für eine genügend große Zahl von Seiten, die anhand der aktuell genutzten Bewertungskriterien (also ohne Berücksichtigung von CSS) als "gut" (non-Spam) und "schlecht" (Spam) klassifiziert sind, die zugehörigen CSS Dateien auf Gemeinsamkeiten bzw. Korrelationen prüfen und könnte, sofern es statistisch signifikante Häufungen einzelner CSS-Deklarationen zu "schlechten" Seiten gibt, diese Deklarationen mit einem "Malus" belegen. Übersteigt der Malus einen gewissen Grenzwert, ist die Wahrscheinlichkeit groß, daß es eine "schlechte" Seite ist. Das Risiko, "gute" Seiten aufgrund *einzelner* Deklarationen fälschlicherweise als "Spam" zu bewerten, ist bei einer solchen Vorgehensweise m.E. recht gering.

Aber das ist reine Kaffeesatzleserei und betrifft mich persönlich mit meinem privaten Projekt herzlich wenig...

Beitrag von **oldInternetUser** » 23.06.2006, 10:54

Im Augenblick kann das noch gar keine Auswirkungen haben, da google jetzt erst mit dem Datensammeln anfängt. Das wird jetzt erst einmal einige Wochen oder Monate laufen, bis google bsp. einen Überblick darüber hat, wie oft externe CSS-Dateien geändert werden.

Erst mit den Daten von einigen Wochen können diese klassifiziert werden: 'Völlig unproblematisch' versus 'könnte problematisch sein' - dann werden die sich wahrscheinlich diverse der problematischen CSS per Hand ansehen und prüfen, ob Unterscheidungen möglich sind.

Sprich: Auswirkungen in 3 bis 6 Monaten.

Spannender finde ich daran, daß die anderen Suchmaschinen von so etwas noch sehr weit weg sein dürften - weder JS noch CSS. Das von mir genannte Beispiel in dem anderen Thread zeigt, daß MSN beim Erkennen von Linknetzwerken ebenfalls um Dimensionen hinter google zurück ist.

Beitrag von **phereia** » 23.06.2006, 11:03

Interessant ist auch die Frage, ob der Googlebot einer Stylesheet "Kaskade" folgt, also CSS-Dateien aufruft, die selbst über eine andere CSS-Datei importiert bzw. eingebunden werden. Da läßt sich für den, der Zeit und ein schlechtes Gewissen

hat einiges testen...

Beitrag von **Fridaynite** » 23.06.2006, 11:12

Holt sich Google schon lang und suppt sie anschliessend wieder.
https://www.google.com/search?hl=en&lr= ... tnG=Search

Am Besten mit robots.txt aussperren, den Bot