Matts Cutts schrieb heute in seinem Blog, dass die meisten Rechenzentren von Google auf "Big Daddy" umgestellt wurden und dementsprechend eher der "neue" Mozilla-Googlebot unterwegs ist.
Heute hab ich den Mozilla von 66.249.66.196 auf fast allen Domains, auch auf einer neuen, bei der noch keine Unterseiten im Index sind. Mal sehen ob die Seiten dann in den nächsten Tagen im Index auftauchen, sollten sie ja eigentlich wenn man Matt C glauben darf.
So, also für meine neue Seite jedenfalls kann ich´s bestätigen, der Mozilla bringt Seiten in den Index. Am 28.3. hat er gut 20 Seiten meiner neuen Domain gefressen und gut die Hälfte ist seit heut im Index. Mal sehen ob der Rest noch (heute) kommt.
mit der IP 66.249.65.177 von Google.
Der Bot kommt einmal am Tag und holt sich nur die Statseite.
Der Mozilla Googlebot mit der üblichen Kennung ist parallel unterwegs.
Bei mir kommt eigentlich ebenfalls seit dem 28. nix mehr - der alte googlebot (zumindest laut 1&1 logfiles) kaum noch und aber auch keine neuen bots, kein mozilla 5.5, kein googlebot 2.1 wie ihr schreibt. wie versteckt sich der bot und warum? früher war er hyperkativ? neue seiten scheint er aber noch zu finden und in den index aufzunehmen...
Abwarten und den beruehmten Tee trinken... Bei Google ist im Moment einiges im Umbruch und das wirkt sich auch auf die Crawlaktivitaet aus.
Ganz sauber scheint die Crawl-Steuerung aber nicht zu funktionieren, denn eine neue PR5 Domain wird mehrmals am Tag komplett gespidert. Ein andere Domain (ca. 1 Jahr alt - PR4) kriegt zwar auch regelmaessig Besuch vom Mozilla Bot, aber weitaus nicht soviel wie die neue Domain.
Da die Domains aber alle sauber sind, harre ich einfach mal der Dinge, die da kommen. Frustrierend ist es trotzdem. Ebenfalls dauert es eine Ewigkeit bis neue Seiten im Index sind