Ich bin gerade dabei meine robots.txt zu überarbeiten. Aktuell habe ich folgenden Eintrag:
User-agent: *
Disallow: /data/
Disallow: /download/
Allow: /
Funktioniert das? Wenn zu Beginn 2 Verzeichnisse verbiete und darunter ein Allow auf alles setze?
Archiv
