Ich habe vor einiger Zeit ein Projekt gekauft. Der Vorbesitzer hatte meiner Meinung nach einige Contentseiten und Verzeichnisse unsinnigerweise per robots.txt ausgesperrt. Das hatte ich soweit geändert. Schon vor einer Woche etwa. Nun schaue ich über die google Webmatser tools nach und muss feststellen, dass diese urls bzw. verzeichnisse immernoch ausgesperrt sind, obwohl der spider scheinbar schon ein paar mal wieder da war.
In den Webmaster-Tools kannst du unter Tools > robots.txt analysieren deiner Seite feststellen, wann Google die Datei robots.txt "zuletzt heruntergeladen" hat. Außerdem wird dort auch der von Google geladene Inhalt der robots.txt angezeigt. Eventuell ist beim Aktualisieren etwas falsch gelaufen?
also laut webmaster tools war es angeblich eine halbe stunde her. trotzdem zeigt es immernoch 4-5 verzeichnisse an die abgeblich durch die robots gesperrt sein sollen. das ist aber efinitiv nicht so weil ich die festgelegt habe dass alle verzeichnisse "offen" sind sind. sehr seltsam...
Einfach etwas Geduld, hab da auch schon mal länger gewartet und aktuell hatte ich versehentlich exakt solch einen Bock geschossen, der von mir vor ca. 3 Wochen korrigiert wurde nur von Google immer noch nicht.