Beitrag
von Dragobert » 11.11.2006, 13:14
Über die robots.txt erfolgt ja auch keine Sperre, sondern wenn überhaupt, dann nur eine "Bitte" an die Bots.
"bitte beachte meine Einträge darin.."
Es besteht ja auch in keinerlei Hinsicht eine Pflicht, die robots.txt auszulesen,
und schon gar nicht das was drin ist einzuhalten.
Mit einem Crawler kann ich jeden Link einer Webseite ohne die robots.txt auslesen.
Jeden Link den ein Besucher sieht und anklicken kann, kann ich mir auch per Script/Programm "holen",
völlig unwichtig was in der robots.txt steht.
Suchmaschinen beachten die robots.txt immer nur freiwillig.
Eine echte Sperre erfolgt nur über die .htaccess