Hi
du hast das system nicht verstanden
eine HTML-Seite besteht doch z.b auch seiner Datei ... test.html, ein ganzer bereich wahrscheinlich aus mehreren Dateien test2.html, test3.html ... du mußt alle Seiten.html die nicht gespidert werden sollen, in der robots.txt ausschließen. Wenn Projekte die nicht gespidert werden sollen, in ordnern liegen domain.de/projekt1/ - dann schreibste diesen Ordner in die robots.txt.
Es gibt in den meta-tags noch den Tag "index,follow" - "nofollow" ... aber ich weiß jetzt nicht wie sehr sich google daran hält. In der selfhtml-Anleitung findest du den genauen aufbau der meta-tags.
Bis denne
Wuppi