würde gerne mal wissen, ob die Robot.txt gut für Suchmaschinen ist und ob Sie irgendwelche Nachteile hat.
Wichtig wäre auch ob man damit Google Adsense verbessern kann?
mit der robots.txt könntest du den Adsensebot aussperren der deine Seiten nach inhalt bewertet. Du würdest dann keine passenden ANzeigen mehr eingeblendet bekommen, ergo weniger gut ...