Hi 3DCG,
Ich benutze eine sitemap.xml. Anscheinend werden neue Seiten dann etwas schneller gefunden und landen im Index, war jedenfalls mein Eindruck. Wenn ich neue Seiten einfüge, melde ich immer eine aktualisierte Version der Sitemap an. In die robots.txt habe ich die noch nicht eingetragen, das wollte ich aber irgendwann einmal machen. Ach ja, Suchmaschinen indexieren manchmal auch die sitemap.xml, wenn es lustig kommt.