robots.txt: index.html & index.php immer Disallow?
Verfasst: 28.07.2005, 09:36
Hallo,
ich hab mir gerade mal Gedanken über die robots.txt gemacht.
Eigentlich müsste man die index.html & index.php doch immer auf disallow setzen, um doppelten Content mit / zu vermeiden, oder?
selbst wenn man selber darauf achtet, es nicht zu verlinken, es könnte doch immer noch jemand anderes einen link drauf setzen...
Oder liegt da ein Denkfehler meinerseits vor?
ich hab mir gerade mal Gedanken über die robots.txt gemacht.
Eigentlich müsste man die index.html & index.php doch immer auf disallow setzen, um doppelten Content mit / zu vermeiden, oder?
selbst wenn man selber darauf achtet, es nicht zu verlinken, es könnte doch immer noch jemand anderes einen link drauf setzen...
Oder liegt da ein Denkfehler meinerseits vor?