robots.txt: Fast alle Seiten ausschließen

Beitrag von **Petermania** » 26.06.2005, 13:41

Hallo,

wie realisiere ich es am besten, wenn ich jede Seite außer meiner index-Seite für Crawler ausschließen möchte? Gibt es eine "bessere" Möglichkeit, als jedes Verzeichnis / jede Datei einzeln zu notieren?

Danke,
Peter

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Sephyra** » 26.06.2005, 14:06

Vielleicht sowas:

User-agent: *
Disallow: /
Allow: index.html

Beitrag von **stalker** » 26.06.2005, 14:07

du kannst ersteinmal alle crawler aussperren
User-agent: *
Disallow: /

Und dann aber mittels allow deine index datei zum crawlen freigeben

User-agent: *
Allow: /index.html

Interpretieren nicht alle Crawler richtig, Google sollte damit aber keine Probleme haben.

Beitrag von **Petermania** » 26.06.2005, 14:07

Habe ich mir auc gedacht, aber ich meine einmal gelesen zu haben, dass dieses "Allow" nicht konform ist. Trotzdem danke

Beitrag von **luigip** » 27.06.2005, 01:17

@Petermania
Vielleicht hilft dir dieses tool.