robots.txt Frage

Beitrag von **webpilot** » 02.07.2008, 16:48

Ist es möglich, erst mehrere Bots anzusprechen und dann allen zusammen einen Befehl zu erteilen? Was ich meine ist folgendes:

Code: Alles auswählen

User-agent&#58; 123
User-agent&#58; abc
User-agent&#58; 3jncu
User-agent&#58; 3mu.com
Disallow&#58; /

Oder muss man jedem Bot einzeln Befehle zuweisen?

Code: Alles auswählen

User-agent&#58; 123
Disallow&#58; /

User-agent&#58; abc
Disallow&#58; /

User-agent&#58; 3jncu
Disallow&#58; /

User-agent&#58; 3mu.com
Disallow&#58; /

Durch das erste Schema könnte man einiges an Zeichen sparen.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **stalker** » 02.07.2008, 17:10

einzeln

Beitrag von **Fridaynite** » 02.07.2008, 17:11

Wenn Du alle sperren willst und nur ein paar bestimmte erlauben willst gehts einfacher.

Ich glaube nicht, dass Deine persönliche Regel regelkonform ist.

Beitrag von **webpilot** » 02.07.2008, 17:16

Hab mir die Frage gerade selber beantwortet:

https://de.selfhtml.org/diverses/robots ... ort_aufbau

Scheint also kein Problem zu sein. Einen online Validator habe ich bisher leider nicht gefunden. Kennt jemand einen?