Thomas B. hat geschrieben:Code: Alles auswählen
User-agent: *
Disallow: /search/
Disallow: /*archive.html
Allow: /
Ein Bot macht das was du ihm sagst und mit der letzten Zeile hebst du die
disallow Regeln wieder auf. Allow selber solltest du auch nicht nutzen da es nicht von allen Bots verstanden wird, genauso wie *.
Code: Alles auswählen
User-agent: *
Disallow: /search/
Disallow: /*archive.html$
Ich schätze deine Meinung, wir kommen aus dem gleichen Lager.
Aber, lies bei G. nochmal nach was die wirklich machen.
Die Rules für die robots.txt sind recht aufgeweicht, G. hält sich dran, es sei denn, die Seite ist irgendwo verlinkt.
Guckst du:
https://support.google.com/webmasters/a ... 6449?hl=de
Der Titel ist noch der alte, das Verhalten aber eindeutig nicht.
Klar, Allow gibt es nicht und und und...
Hilft aber nichts, "Robots Exclusion Standard" ist halt nur eine Idee, die von Leuten wie dir und mir hochgehalten wird.
Die Wirklichkeit ist anders. Ein metatag robots noindex wirkt noch so, wie der Eintrag in der robots.txt wirken sollte.
Ach so, ich rede jetzt nur von G,. den Rest kann man aber auch....