ABAKUS

Hallo,

wie realisiere ich es am besten, wenn ich jede Seite außer meiner index-Seite für Crawler ausschließen möchte? Gibt es eine "bessere" Möglichkeit, als jedes Verzeichnis / jede Datei einzeln zu notieren?

Danke,
Peter

Vielleicht sowas:

User-agent: *
Disallow: /
Allow: index.html

du kannst ersteinmal alle crawler aussperren
User-agent: *
Disallow: /

Und dann aber mittels allow deine index datei zum crawlen freigeben

User-agent: *
Allow: /index.html

Interpretieren nicht alle Crawler richtig, Google sollte damit aber keine Probleme haben.

Habe ich mir auc gedacht, aber ich meine einmal gelesen zu haben, dass dieses "Allow" nicht konform ist. Trotzdem danke

@Petermania
Vielleicht hilft dir dieses tool.