Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Das ist eine Standard-robots.txt und macht genau das, was in der 2. Kommentarzeile steht, nämlich allen Spidern den Zugriff auf alle Verzeichnisse zu erlauben. Wenn Du nichts zu verbergen hast, ist das in Ordnung, ansonsten müssten die betreffenden Dateien/Verzeichnisse in der Zeile "Disallow" explizit ausgeschlossen werden, z.B. cgi- und Statistik-Ordner.Darin steht:
# robots.txt for https://www.symptome.ch/
# Zugriff auf alle Dateien erlauben
User-agent: *
Disallow:
Nun weiss ich gar nicht, ob dieses "Disallow" gut ist oder nicht.