Seite 1 von 1
Wie lang kann eine Robots.txt sein
Verfasst: 18.10.2013, 10:09
von Unifex
Die Frage steht soweit im Titel. Also wie viele Zeilen darf sie haben. damit sie noch gelesen werden kann von den Bots.
Hintergrund ist, das ich in einem neuen Forum eine Menge Themen sperren muss, damit die nicht gecrawlt werden.
Da kommen schon ein paar Einträge zusammen.
Verfasst: 18.10.2013, 13:02
von InControL
https://developers.google.com/webmaster ... _txt?hl=de
"[...] Google currently enforces a size limit of 500kb."
Verfasst: 18.10.2013, 14:28
von umwelt
hallo,
wäre es nicht einfacher, das in den beiträgen selbst über ein admin-zusatzfeld festzulegen und dann noindex + nofollow anzugeben?
viele grüße!
Verfasst: 18.10.2013, 16:49
von Unifex
umwelt hat geschrieben:hallo,
wäre es nicht einfacher, das in den beiträgen selbst über ein admin-zusatzfeld festzulegen und dann noindex + nofollow anzugeben?
viele grüße!
Das wäre cool, wenn ich wüsste wie das geht.
Ist ein Xenforo.
Verfasst: 18.10.2013, 17:07
von umwelt
wenn's Dir was wert ist, kann ich es mir gern mal anschaun
Dürfte im Grunde nur ein "Flag" sein, das gesetzt werden müsste und eine template-anpassung.
