robots.txt mit wildcard für googlebot

Beitrag von **eanst** » 04.03.2008, 19:54

hallo forum,

möchte mit robots.txt ein paar unwichtige seiten für den bot sperren.

die seiten sind alle in der form:
- seite-1.html
- seite-2.html
- seite-4.html
usw.

ist die syntax dann so:
User-agent: Googlebot
Disallow: /seite-*.html

richtig?

vielen dank!

von **Anzeige von ABAKUS** »

Beitrag von **Liverson** » 05.03.2008, 10:20

Hi,

ich habe mit Wildcard in der robots.txt erfolgreich die URL´s mit Sessionparametern ausgeschlossen.

z.B. /*?sid

das funktioniert prima.

Müsste also auch deine Variante funzen, wobei ich glaube, dass du .html hinten weglassen kannst nach der Wildcard, ausser du hast noch z.B. .php Datein, die genauso heissen.

gruss