Vor Jahren sagte mir jemand, dass man hinter den Anweisungen für die Agents in der robots.txt Keywords en Masse unterbringen kann. Seit dem handhabe ich das auch so. Habe mir jetzt lange Zeit darüber keine Gedanken mehr gemacht. Nun aber stösst mich Google Sitemaps an mich damit mal gedanklich zu beschäftigen. Denn die analysieren meine robots.txt und sagen hinter den Keywords immer Syntax nicht verstanden.
So lange Rede kurze Fragen:
1. Ist das Humbug und ich kann die Keywords löschen?
2. Das ist Humug und sogar schädlich, Goo*le betrachtet das als Spam
3. Das ist korrekt und lass die Keywords drin?
Archiv
