Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Kurze Frage zur robots.txt

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
superolli
PostRank 8
PostRank 8
Beiträge: 718
Registriert: 22.07.2007, 14:17

Beitrag von superolli » 05.06.2012, 07:42

Guten Morgen, kurze Frage... wenn ich in der robots.txt schreibe


User-agent: *
Disallow: /.media/


.. dann wird
a) das Verzeichnis . media nicht gecrawlt aber
b) alle anderen Verzeichnisse werden gecrawlt (auch wenn allow nicht mehr da steht) ?

Richtig?