robots.txt in g-webmastertools neu laden?
Verfasst: 24.11.2011, 07:29
Hallo;
ich hab mir vor 2 tagen bei der optimierung meiner robots.txt selbst ins bein geschossen:
wers nicht weiss: hier wird nur die letzte regel beachtet (Alle robots:Alles verboten), auch wenn ich die ersten 2 bots eigentlich damit erlauben wollte.
Meine frage nun: in den webmastertools sehe ich die warnung "zugriff auch / via robots.txt verboten"; aber keine moeglichkeit die neue robots.txt erneut zu crawlen.
Wielange dauert sowas in der regel; oder wie kann man es erzwingen das die robots.txt neu gelesen wird?
ich hab mir vor 2 tagen bei der optimierung meiner robots.txt selbst ins bein geschossen:
Code: Alles auswählen
User-agent: googlebot
Disallow: /disclaimer.php
Disallow: /about.php
Sitemap: /sitemap.php
User-agent: msnbot
Disallow: /disclaimer.php
Disallow: /about.php
Sitemap: /sitemap.php
User-agent: *
Disallow: /
Meine frage nun: in den webmastertools sehe ich die warnung "zugriff auch / via robots.txt verboten"; aber keine moeglichkeit die neue robots.txt erneut zu crawlen.
Wielange dauert sowas in der regel; oder wie kann man es erzwingen das die robots.txt neu gelesen wird?
