Hallo,
ich habe mich jetzt schon eine ganze Weile mit Beiträgen über die robots.txt beschäftigt, doch so richtig gerafft hab ich´s noch immer nicht.
Ich möchte keine meiner Seiten irgendwie ausschließen. Brauche ich dann eine robots.txt? Und wenn ja, kann ich einfach die „Muster- robots.txt" hier aus dem Forum nehmen und hochladen?
Hat jemand nen Tipp (oder nen Link zu einer ähnlichen, beantworteten Frage)?
Viele Grüße aus dem Westerwald,
SirBen
Archiv
