ich hab mir vor 2 tagen bei der optimierung meiner robots.txt selbst ins bein geschossen:
Code: Alles auswählen
User-agent: googlebot
Disallow: /disclaimer.php
Disallow: /about.php
Sitemap: /sitemap.php
User-agent: msnbot
Disallow: /disclaimer.php
Disallow: /about.php
Sitemap: /sitemap.php
User-agent: *
Disallow: /
Meine frage nun: in den webmastertools sehe ich die warnung "zugriff auch / via robots.txt verboten"; aber keine moeglichkeit die neue robots.txt erneut zu crawlen.
Wielange dauert sowas in der regel; oder wie kann man es erzwingen das die robots.txt neu gelesen wird?