Ist es nicht langsam an der Zeit, das die seriösen Suchmaschinen andere Befehle lernen?
Wäre es nicht viel einfacher, wenn man solche robots.txt verwenden könnte:
Code: Alles auswählen
User-agent: *
Disallow: /
User-agent: Goooogle
Allow:/
Leider - und bitte korrigiert mich wenn ich falsch liege - haben die Sumas mit obigen Befehlen ein Problem.
Ich kann die Zeilen auch umkehren, sodass man vermuten könnte, die Sumas lesen von oben nach unten:
Code: Alles auswählen
User-agent: Goooogle
Allow:/
User-agent: *
Disallow: /
Wenn ich mit der Meinung falsch liege, dann würde ich mich über eine beispielhafte robots.txt freuen, bei der ich nur noch die eintragen müßte,
welche die seiten betreten dürfen.
Schönen Sommer!