Ist eine robots.txt notwendig?

Beitrag von **Bodo99** » 10.11.2009, 22:08

Guten Abend,

Ist eine robots.txt notwendig, wenn ich ohnehin alles für die Suchmaschinen freigegeben habe? Also ich will nichts aussperren, sondern alles kann / soll gefunden werden.

Brauche ich dennoch eine robots.txt und wenn ja wofür wäre sie noch gut?

Danke herzlichst,
Eric

von **Anzeige von ABAKUS** »

Beitrag von **Alda** » 10.11.2009, 22:41

Nö, dann ist die für nichts mehr gut.

Wenn Du gezielt bestimmte nervige Bots aussperren willst, geht das über die .htaccess oder Du nimmst BotTrap.

Beitrag von **Mork vom Ork** » 11.11.2009, 10:58

Eric78 hat geschrieben:Brauche ich dennoch eine robots.txt und wenn ja wofür wäre sie noch gut?

Selbst eine leere robots.txt ist nützlich, weil die so oder so erfolgenden Zugriffe auf sie nicht das Fehlerprotokoll zumüllen - und jeder ordentliche Gewebemeister hält selbiges ja gerne frei von jeglichen Fehlern, insbesondere solchen, die keine Fehler sind und nur den Blick auf tatsächliche Fehler verstellen, nicht wahr? ;)

Beitrag von **Bauchladen** » 11.11.2009, 12:13

Generell

Code: Alles auswählen

SetEnvIf Request_URI "^/robots\.txt$" dontlog
SetEnvIf Request_URI "^/favicon\.ico$" dontlog

Individuell

Code: Alles auswählen

CustomLog logs/access_log common env=!dontlog

Grüße

Beitrag von **Mork vom Ork** » 11.11.2009, 14:00

Bauchladen hat geschrieben:
Code: Alles auswählen
CustomLog logs/access_log common env=!dontlog

CustomLog != ErrorLog, von letzterem sprach ich.