Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

robots.txt in g-webmastertools neu laden?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
nerd
PostRank 10
PostRank 10
Beiträge: 4023
Registriert: 15.02.2005, 04:02

Beitrag von nerd » 24.11.2011, 07:29

Hallo;

ich hab mir vor 2 tagen bei der optimierung meiner robots.txt selbst ins bein geschossen:

Code: Alles auswählen

User-agent: googlebot
Disallow: /disclaimer.php
Disallow: /about.php
Sitemap: /sitemap.php

User-agent: msnbot
Disallow: /disclaimer.php
Disallow: /about.php
Sitemap: /sitemap.php

User-agent: *
Disallow: /
wers nicht weiss: hier wird nur die letzte regel beachtet (Alle robots:Alles verboten), auch wenn ich die ersten 2 bots eigentlich damit erlauben wollte.

Meine frage nun: in den webmastertools sehe ich die warnung "zugriff auch / via robots.txt verboten"; aber keine moeglichkeit die neue robots.txt erneut zu crawlen.
Wielange dauert sowas in der regel; oder wie kann man es erzwingen das die robots.txt neu gelesen wird?

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


bennos
PostRank 9
PostRank 9
Beiträge: 1299
Registriert: 16.12.2005, 11:51

Beitrag von bennos » 24.11.2011, 13:38

die robots.txt wird gecachet vom Bot. so alle 16-18 Stunden aktualisiert er den Cache. Von wann die Robots.txt ist, kannst du in den WMT sehen.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag