Google sitemap.xml versus robots.txt

Beitrag von **Ameisenman** » 06.06.2008, 13:45

Hallo,
da meine Seite mittlerweile sehr groß ist (rund 4.400 Seiten), habe ich beschlossen, die Google sitemap.xml per script jeden Tag neu erstellen zu lassen.
Nun meine Frage: Womit beeinflußt man den Google-Bot in seinem Crawling mehr? Mit der Sitemap.xml oder mit der Robots.txt? Ordner, bzw. Dateien für den Google-Bot sperren kann man ja mit der robots.txt.

von **Anzeige von ABAKUS** »

Beitrag von **Fantastixxx** » 06.06.2008, 13:49

Links - Deeplinks

Beitrag von **Ameisenman** » 06.06.2008, 13:51

Mit der Antwort kann ich leider nix anfangen??? Sorry...

von **Anzeige von ABAKUS** »

Beitrag von **Funkozilla** » 06.06.2008, 15:49

Einfache Antwort: Mit der robots.txt .

Wenn Du eine Sitemap.xml erstellst, dann orientiert sich diese an der Struktur der vorhandenen robots.txt . Sprich: Wenn Du Seiten oder Verzeichnisse per robots.txt sperrst, dann werden die von den Sitemaps erst gar nicht aufgenommen und sind auch nicht in der Sitemap.xml drin. Das ist ja auch der Sinn von einer robots.txt - Den Bots zu sagen, was sie spidern dürfen und was nicht. Dies wird bei den Sitemaps ebenfalls entsprechend beachtet.