google webmastertool und robots.txt

Beitrag von **stereophone** » 21.03.2007, 14:03

moin moin,
ich hab eine meiner seiten, mittels der robots.txt, komplett für bots gesperrt. jetzt habe ich die robots.txt wieder geändern und erlaube wieder den zugriff auf meine seite.

bekomme allerdings im googlewebmastertool noch einen fehler angezeigt: URLs durch robots.txt eingeschränkt

hinter dem fehler steht 'Zuletzt berechnet 13.03..." wenn ich allerdings das tool robots.txt -Analyse benutze wird mir angezeigt das google meine robots.txt das letztemal am 20.03 runtergeladen hat und diese version definitiv den zugriff erlaubt, was das analyse tool auch bestätigt.

warum wird dann dieser fehler noch angezeigt ?

von **Anzeige von ABAKUS** »

Beitrag von **24cx** » 21.03.2007, 14:23

Weil Google noch nicht wieder auf deiner Seite war.... Zwar haben sie jetzt wieder die Befugnis, aber das heißt ja nicht, dass die die Seite sofort in den Index nehmen

Beitrag von **Supergrobi** » 21.03.2007, 14:44

Toll, bei mir ist es genau umgekehrt, hatte bei ein paar Seiten ne Fehlermeldung, also habe ich diese im robot.txt für die Sumas gesperrt. Die Fehler sind aber immer noch vorhanden!? Und die Suma war zwischenzeitlich mehrmals da...

Beitrag von **stereophone** » 21.03.2007, 14:56

wie schon geschrieben, google war ja schon auf meiner seite nach der änderung. das webmastertool zeigt mir das die bots meine seite nach der änderung schon öfters besucht haben und ich sehe auch genau das die neue robots.txt von google schon runtergeladen wurde. deshalb wundert's mich ja das sie den fehler noch anzeigen.

und im index bin ich sowiso schon, trotz gesperrter robots.txt... das hat ja nichts miteinander zu tun. google hat meine seite über einen backlink gefunden und indexiert. allerdings leider ohne snippet und nicht mit meinem title sondern mit dem linktext, da sie ja den text meiner seite nicht lesen durften.

Beitrag von **Anonymous** » 21.03.2007, 15:30

webmastertool ist lahm!!!!!!!!!!!!
das dauert eine ewigkeit ehe da was aktualisiert wird! der spider sieht sich die robots.txt an und hält sich unmittelbar an die dort vorgegebenen Regeln! egal was das webmastertool sagt.

der cache von google ist wieder eine andere sache, kommt auf die stärke deiner steite an, wie schnell dieser aktuallisiert wird.

Gruß zuendschnur

Beitrag von **axelm** » 29.04.2007, 00:02

Wenn du deine gesamte Site per robots.txt gesperrt hast dann kann das bis zu 3 monate dauern bis die wieder im Index ist.