robots.txt: Fast alle Seiten ausschließen

[Petermania]

Hallo,

wie realisiere ich es am besten, wenn ich jede Seite außer meiner index-Seite für Crawler ausschließen möchte? Gibt es eine "bessere" Möglichkeit, als jedes Verzeichnis / jede Datei einzeln zu notieren?

Danke,
Peter

[Sephyra]

Vielleicht sowas:

User-agent: *
Disallow: /
Allow: index.html

[stalker]

du kannst ersteinmal alle crawler aussperren
User-agent: *
Disallow: /

Und dann aber mittels allow deine index datei zum crawlen freigeben

User-agent: *
Allow: /index.html

Interpretieren nicht alle Crawler richtig, Google sollte damit aber keine Probleme haben.

[Petermania]

Habe ich mir auc gedacht, aber ich meine einmal gelesen zu haben, dass dieses "Allow" nicht konform ist. Trotzdem danke

[luigip]

@Petermania
Vielleicht hilft dir dieses tool.