robots.txt allow Anweisung

[willi1]

Hallo zusammen,

ich habe ein kleines Problem und zwar habe ich eine robots.txt angelegt
und möchte einige Verzeichnisse ausschließen das hat auch immer gut geklappt. jetzt möchte ich aber ein verzeichniss freigeben und da scheint es wohl Probleme zu geben also meine robots sieht ungefähr so aus:

Code: Alles auswählen

User-agent: * 
Disallow: /images/banners/
Disallow: /images/comprofiler/
Disallow: /images/Flash/
Disallow: /images/M_images/
Disallow: /images/screen/
Disallow: /images/smilies/
Disallow: /images/stories/
Allow: /images/buecher/

es gibt wohl Probleme mit der allow Anweisung wenn ich ein robts.txt check durchführe bekomme ich auch immer die Meldung das allow nicht zulässig ist. Muss ich die Verzeichnisse /images/buecher/ einfach weglassen damit diese gecrawlt werden?

könnt Ihr mir da weiterhelfen?

Liebe Grüße
willi1

[Unifex]

Allow gibt es nicht. Alles was nicht gecrawlt werden soll muss mit disallow ausgeschlossen werden. Alles andere wird gecrawlt.

[willi1]

danke für die Antwort, ich habe die allow Anweisung jetzt rausgenommen
dann müßte er doch theoretisch alles was sonst noch so in dem Image Verzeichnis liegt ( dateien und Verzeichnisse) crawlen oder?

LG
willi1

[catcat]

Das macht er auch praktisch so.
Ausser, Du hast es in der .htaccess gesperrt...

[willi1]

danke euch