robots.txt: wildcards für Dateiparameter (z.B. ID) verwenden

Beitrag von **new_newbie** » 10.12.2006, 12:58

Hallo zusammen,

ich möchte per robots.txt bestimmte Dateien ausperren.

Problem:
Die Dateiendungen erhalten eine dynamische ID und andere Parameter. Sie sehen dann z.B. so aus: /verzeichnis/datei1.php?ID=123456 Google & Co. machen also für jede ID eine URL, oder?

Frage:
Wie kann ich die Datei datei1.php ausperren? Reicht es mit "Disallow: /verzeichnis/datei1.php" und alle dahinter hängenden IDs sind automatisch auch gesperrt?

* (sternchen) ist in der robots.txt innerhalb des Befehls "Disallow" ja leider nicht erlaubt

Hat jemand eine Idee?

Gruß
Sven

von **Anzeige von ABAKUS** »

Beitrag von **SloMo** » 10.12.2006, 13:17

> Reicht es mit "Disallow: /verzeichnis/datei1.php" und alle dahinter hängenden IDs sind automatisch auch gesperrt?

Ja, das reicht.

> * (sternchen) ist in der robots.txt innerhalb des Befehls "Disallow" ja leider nicht erlaubt

Im erweiterten Standard (den z.B. Google unterstützt) sind Sternchen erlaubt! Aber da sich die meisten Bots mit der robots.txt schwer tun, halte ich davon nichts... würde es nicht benutzen.

Beitrag von **new_newbie** » 10.12.2006, 13:28

Danke SloMo! Das hilft mir weiter.

Zusätzlich arbeite ich noch mit dem nofollow-Attribut bei den Links, die ich nicht indiziert haben möchten. Falls sich einige Spider nicht an die robots.txt halten, bekommen sie das nofollow vorgesetzt und umgekehrt. Ich hoffe, dass diese Links dann in keinem Index erscheinen.