Anweisung in der robots.txt

n` Abend, ich habe nirgendwo was passendes gefunden:

Auf meiner php-linkdirectory Seite hat man in den Kategorien die Möglichkeit einer Sortierung über einen Link in zb. folgender Art:

kategrie/?s=H

Ist halt übel mit mod_rewrite zugerichtet.

Rafft meinetwegen der Googlebot folgende Anweisung überhaupt? Oder kommt er mit dieser Anweisung nicht klar und hält sich dann womöglich aus der gesamten /kategorie raus?

google sollte die sogenannten wildcards unterstützen:

Google unterstützt Wildcards in der robots.txt

Wie es scheint unterstützt Google Wildcards in der robots.txt. Diese Information findet sich auf der Url Removal Seite.

Es ist zum Beispiel möglich alle dynamischen Seiten mit angehängten Url-Parametern mit Hilfe der Wildcard * für Google auszuschließen:

User-agent: Googlebot
Disallow: /*?

Oder wenn man nur Seiten mit bestimmten Parametern ausschließen möchte:

User-agent: Googlebot
Disallow: /*partnerid=

Die Nutzung von Wildcards ist eigentlich nicht im Standard für die robots.txt vorgesehen und wird von anderen Suchmaschinen wohl (leider) nicht unterstützt. Wäre sicherlich begrüßenswert den Standard und die Funktionalität aller Suchmaschinen entsprechend zu erweitern.

/beispielordner/
bedeutet nur der Ordner die URL

/beispielordner
bedeutet diese URL und alles was sich darunter befindet.