Alles hat ein Ende nur die robots.txt nicht

Es ist doch ein Horror, wenn man täglich seine robots txt oder die htaccess mit Befehlen füttern muss, um seine Seite vor den bösen Robots und Proxyblablabla zu schützen.

Ist es nicht langsam an der Zeit, das die seriösen Suchmaschinen andere Befehle lernen?

Wäre es nicht viel einfacher, wenn man solche robots.txt verwenden könnte:
So könnte man sich beruhigt um wichtigere Sachen kümmern, als sich täglich vor dem ganzen Schrott schützen zu müssen.

Leider - und bitte korrigiert mich wenn ich falsch liege - haben die Sumas mit obigen Befehlen ein Problem.

Ich kann die Zeilen auch umkehren, sodass man vermuten könnte, die Sumas lesen von oben nach unten:
... trotzdem meint Gooooogle dann immer noch, die Seite nicht betreten zu dürfen.

Wenn ich mit der Meinung falsch liege, dann würde ich mich über eine beispielhafte robots.txt freuen, bei der ich nur noch die eintragen müßte,
welche die seiten betreten dürfen.

Schönen Sommer!