Warum Zugriff auf css in robots.txt verweigern?

Beitrag von **Weitdenker** » 26.05.2010, 15:35

Oft sehe ich, dass der CSS-Ordner einer Website für
Crawler verboten wird. Warum das Ganze?

User-agent: *
Disallow: /css/

von **Anzeige von ABAKUS** »

Beitrag von **Tracker** » 26.05.2010, 15:53

Weil es keinen sinn macht und evtl traffic spart

Beitrag von **Andreas I.** » 26.05.2010, 15:54

Es wird gehofft, dass der Crawler dann nicht hinter die Tricks kommt, Text mit den bekannten Möglichkeiten von css zu verstecken.

Eigentlich ist das eher so eine Art Schuldeingeständnis. Wenn das ein Quality-Rater sieht...