robots.txt in g-webmastertools neu laden?

Beitrag von **nerd** » 24.11.2011, 07:29

Hallo;

ich hab mir vor 2 tagen bei der optimierung meiner robots.txt selbst ins bein geschossen:

User-agent&#58; googlebot
Disallow&#58; /disclaimer.php
Disallow&#58; /about.php
Sitemap&#58; /sitemap.php

User-agent&#58; msnbot
Disallow&#58; /disclaimer.php
Disallow&#58; /about.php
Sitemap&#58; /sitemap.php

User-agent&#58; *
Disallow&#58; /

wers nicht weiss: hier wird nur die letzte regel beachtet (Alle robots:Alles verboten), auch wenn ich die ersten 2 bots eigentlich damit erlauben wollte.

Meine frage nun: in den webmastertools sehe ich die warnung "zugriff auch / via robots.txt verboten"; aber keine moeglichkeit die neue robots.txt erneut zu crawlen.
Wielange dauert sowas in der regel; oder wie kann man es erzwingen das die robots.txt neu gelesen wird?

von **Anzeige von ABAKUS** »

Beitrag von **bennos** » 24.11.2011, 13:38

die robots.txt wird gecachet vom Bot. so alle 16-18 Stunden aktualisiert er den Cache. Von wann die Robots.txt ist, kannst du in den WMT sehen.