robots.txt Frage

[webpilot]

Ist es möglich, erst mehrere Bots anzusprechen und dann allen zusammen einen Befehl zu erteilen? Was ich meine ist folgendes:

Code: Alles auswählen

User-agent: 123
User-agent: abc
User-agent: 3jncu
User-agent: 3mu.com
Disallow: /

Oder muss man jedem Bot einzeln Befehle zuweisen?

Code: Alles auswählen

User-agent: 123
Disallow: /

User-agent: abc
Disallow: /

User-agent: 3jncu
Disallow: /

User-agent: 3mu.com
Disallow: /

Durch das erste Schema könnte man einiges an Zeichen sparen.

[stalker]

einzeln

[Fridaynite]

Wenn Du alle sperren willst und nur ein paar bestimmte erlauben willst gehts einfacher.

Ich glaube nicht, dass Deine persönliche Regel regelkonform ist.

[webpilot]

Hab mir die Frage gerade selber beantwortet:

https://de.selfhtml.org/diverses/robots ... ort_aufbau

Scheint also kein Problem zu sein. Einen online Validator habe ich bisher leider nicht gefunden. Kennt jemand einen?