Wer hat Erfahrungen mit der Eintragung von Sitemaps in Robots.txt?
Es soll die Indexierung und die wiederholte Abfrage der Robots wesentlich verbessern ( sagt z.B. Ask und Google) Ich habe meine Robots Datei geändert, mal sehen was das bringen soll:)
Mein Beispiel:
..........
"
Sitemap: http : // www. domain. tld/sitemap.xml
User-agent: *
Disallow: /logs/
Disallow: /css/
User-agent: grub-client
Disallow: /
User-agent: grub
Disallow: /
"
..........
usw.
Archiv
