mit der Robots.txt kannst Du verhindern, dass Google auf bestimmte Verzeichnisse / Dateien zugreift, z.B. /css/, /templates/ etc. Es garantiert aber nicht, dass die URLs, wenn die denn irgendwo verlinkt sind, nicht im Index erscheinen. Das tun die dann sehr oft, auch wenn ohne Description. Und die PDFs werden ja wohl irgendwo verlinkt sein, sonst macht es ja keinen Sinn - also -> noindex.
Aus der Google-Hilfe:
Wichtig: Selbst wenn Sie mithilfe einer robots.txt-Datei das Crawlen des Contents Ihrer Website durch Spider unterbinden, kann Google den Content auf andere Weise ermitteln und ihn unserem Index hinzufügen. Andere Websites können beispielsweise Links zu ihm aufweisen. Folglich können die URL der Seite und eventuell auch andere öffentlich verfügbare Informationen wie z. B. der Ankertext in Links zu der Website oder ein im Open Directory Project angegebener Titel in den Google-Suchergebnissen angezeigt werden. Hinzu kommt, dass die in der robots.txt-Datei festgelegten Anweisungen zwar von allen seriösen Robots unterstützt, aber von einigen eventuell unterschiedlich interpretieren werden. Die Beachtung einer robots.txt-Datei ist jedoch nicht lückenlos durchsetzbar, sodass sie von Spammern und anderen Störenfrieden gelegentlich ignoriert wird. Deshalb empfehlen wir Ihnen, vertrauliche Informationen mit einem Passwort zu schützen (siehe oben).
Verwenden Sie ein "noindex"-Meta-Tag, um die Anzeige bestimmter Contents in den Google-Suchergebnissen zu verhindern. Wird auf einer Seite ein "noindex"-Meta-Tag gefunden, wird die Seite vollständig aus den Google-Suchergebnissen ausgeschlossen, auch wenn von anderen Websites auf sie verwiesen wird.
Sollen die Inhalte einer Seite nie dem Google-Webindex hinzugefügt werden, obwohl von anderen Websites auf sie verwiesen wird, muss ein "noindex"-Meta-Tag verwendet werden. Beim Crawlen der Seite erkennt Googlebot das "noindex"-Meta-Tag und schließt die URL aus dem Index aus.
