Hallo,
ich hab mir gerade mal Gedanken über die robots.txt gemacht.
Eigentlich müsste man die index.html & index.php doch immer auf disallow setzen, um doppelten Content mit / zu vermeiden, oder?
selbst wenn man selber darauf achtet, es nicht zu verlinken, es könnte doch immer noch jemand anderes einen link drauf setzen...
Oder liegt da ein Denkfehler meinerseits vor?
Archiv