ABAKUS

Guten Abend,

Ist eine robots.txt notwendig, wenn ich ohnehin alles für die Suchmaschinen freigegeben habe? Also ich will nichts aussperren, sondern alles kann / soll gefunden werden.

Brauche ich dennoch eine robots.txt und wenn ja wofür wäre sie noch gut?

Danke herzlichst,
Eric

Nö, dann ist die für nichts mehr gut.

Wenn Du gezielt bestimmte nervige Bots aussperren willst, geht das über die .htaccess oder Du nimmst BotTrap.

Eric78 hat geschrieben:Brauche ich dennoch eine robots.txt und wenn ja wofür wäre sie noch gut?

Selbst eine leere robots.txt ist nützlich, weil die so oder so erfolgenden Zugriffe auf sie nicht das Fehlerprotokoll zumüllen - und jeder ordentliche Gewebemeister hält selbiges ja gerne frei von jeglichen Fehlern, insbesondere solchen, die keine Fehler sind und nur den Blick auf tatsächliche Fehler verstellen, nicht wahr? ;)

Generell Individuell Grüße

Bauchladen hat geschrieben:

Code: Alles auswählen

CustomLog logs/access_log common env=!dontlog

CustomLog != ErrorLog, von letzterem sprach ich.