Google-Zugriff auf robots.txt

[--Andy--]

Hab die Bots per robots.txt gesperrt und vor 8 Tagen freigegeben. Nun muss ich in den WMT feststellen, dass Google seitdem die robots.txt nicht mehr heruntergeladen hat. Irgendwo habe ich gelesen, dass die Bots im Durchschnitt 1x pro Tag reinschauen.

Kann ich das irgendwie beschleunigen oder ist Google jetzt beleidigt, weil kein Tag der offenen Tür war?

[Pompom]

...warum sollten sie jeden Tag gucken kommen, ob du die robots.txt geändert hast ?
Die Bots kommen zu Hauf im Rudel, wenn auf der Domain Inhalt/Content ist, der für sie interessant ist - aber nicht, wenn die Domain per robots.txt gesperrt wurde.

Versuche es mal mit neuen Links, vielleicht auch paar Deeplinks, Google anpingen und Seite bei Google anmelden.

Ach ja, falls du AdSense nutzt, hilft es u.U., wenn du auf der Domain mal AdSense einsetzt.

[--Andy--]

...warum sollten sie jeden Tag gucken kommen, ob du die robots.txt geändert hast ?
Die Bots kommen zu Hauf im Rudel, wenn auf der Domain Inhalt/Content ist, der für sie interessant ist - aber nicht, wenn die Domain per robots.txt gesperrt wurde.

Versuche es mal mit neuen Links, vielleicht auch paar Deeplinks, Google anpingen und Seite bei Google anmelden.

Ach ja, falls du AdSense nutzt, hilft es u.U., wenn du auf der Domain mal AdSense einsetzt.

Da sehe ich auch kein Grund, dass die 1x am Tag vorbeikommen. Hab's nur irgendwo gelesen. Die Idee mit dem Anmelden ist gut. Hätt ich auch drauf kommen müssen Danke!

[babez]

ich hatte auch gerade ein Problem mit der Robots.txt - habe die robots.txt einfach mit dem Submit-Tool neu eingereicht und ein paar Stunden später war alles wieder okay....

[Margin]

Einfach eine neue Sitemap einreichen funktioniert ebenfalls.