Die robots.txt

[sirben]

Hallo,
ich habe mich jetzt schon eine ganze Weile mit Beiträgen über die robots.txt beschäftigt, doch so richtig gerafft hab ich´s noch immer nicht.
Ich möchte keine meiner Seiten irgendwie ausschließen. Brauche ich dann eine robots.txt? Und wenn ja, kann ich einfach die „Muster- robots.txt" hier aus dem Forum nehmen und hochladen?
Hat jemand nen Tipp (oder nen Link zu einer ähnlichen, beantworteten Frage)?
Viele Grüße aus dem Westerwald,
SirBen

[rechtlegal]

Entweder mit "index, follow" oder weglassen. Dann findest Du Fehlermeldungen in Deinen Logfiles, die aber auch nur lästig sind. Ich hab übrigens keine robots.txt.

[sirben]

Ok, dann lasse ich sie wohl auch einfach weg. Danke dir!