ABAKUS

Einfache Antwort: Mit der robots.txt .

Wenn Du eine Sitemap.xml erstellst, dann orientiert sich diese an der Struktur der vorhandenen robots.txt . Sprich: Wenn Du Seiten oder Verzeichnisse per robots.txt sperrst, dann werden die von den Sitemaps erst gar nicht aufgenommen und sind auch nicht in der Sitemap.xml drin. Das ist ja auch der Sinn von einer robots.txt - Den Bots zu sagen, was sie spidern dürfen und was nicht. Dies wird bei den Sitemaps ebenfalls entsprechend beachtet.