ABAKUS

Wenn er bei mir fertig ist, dann sage ich ihm Bescheid
Spaß bei Seite. Bei mir keine Auffälligkeiten. Er grast die Weide wie immer.
Twigg

Bei mir war er heute auch noch nicht...

Dafür hatte ich Montag wohl nen Deepcrawl und er war die halbe Nacht da...

Vielleicht war stattdessen ja der neue da?

Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

moin moin,

bei mir ist immer der neue und der alte da.
~500 zugriffe alt
~2000 zugriffe neu
nur heute eben nur der neue.

grüsse

Matts Cutts schrieb heute in seinem Blog, dass die meisten Rechenzentren von Google auf "Big Daddy" umgestellt wurden und dementsprechend eher der "neue" Mozilla-Googlebot unterwegs ist.

moin,

im moment ist er ja ganz brav am spidern.
mal sehen, ob das so bleibt.

grüsse

Hallo,
bin ziemlich neu auf diesem Gebiet.
Sagt mal, wie stellt man den fest dass der Bot da war?

musst mal in deine logfiles gucken

Heute hab ich den Mozilla von 66.249.66.196 auf fast allen Domains, auch auf einer neuen, bei der noch keine Unterseiten im Index sind. Mal sehen ob die Seiten dann in den nächsten Tagen im Index auftauchen, sollten sie ja eigentlich wenn man Matt C glauben darf.

So, also für meine neue Seite jedenfalls kann ich´s bestätigen, der Mozilla bringt Seiten in den Index. Am 28.3. hat er gut 20 Seiten meiner neuen Domain gefressen und gut die Hälfte ist seit heut im Index. Mal sehen ob der Rest noch (heute) kommt.

Seit dem 24.03 sehe ich einen Googlebot mit abgewandeltem User Agent: mit der IP 66.249.65.177 von Google.
Der Bot kommt einmal am Tag und holt sich nur die Statseite.
Der Mozilla Googlebot mit der üblichen Kennung ist parallel unterwegs.

Gruss

Bei mir kommt eigentlich ebenfalls seit dem 28. nix mehr - der alte googlebot (zumindest laut 1&1 logfiles) kaum noch und aber auch keine neuen bots, kein mozilla 5.5, kein googlebot 2.1 wie ihr schreibt. wie versteckt sich der bot und warum? früher war er hyperkativ? neue seiten scheint er aber noch zu finden und in den index aufzunehmen...

Abwarten und den beruehmten Tee trinken... Bei Google ist im Moment einiges im Umbruch und das wirkt sich auch auf die Crawlaktivitaet aus.

Ganz sauber scheint die Crawl-Steuerung aber nicht zu funktionieren, denn eine neue PR5 Domain wird mehrmals am Tag komplett gespidert. Ein andere Domain (ca. 1 Jahr alt - PR4) kriegt zwar auch regelmaessig Besuch vom Mozilla Bot, aber weitaus nicht soviel wie die neue Domain.

Da die Domains aber alle sauber sind, harre ich einfach mal der Dinge, die da kommen. Frustrierend ist es trotzdem. Ebenfalls dauert es eine Ewigkeit bis neue Seiten im Index sind

äh, kann man immer noch nach googlebot in den logs schauen oder was muss man da jetzt suchen?

habe über die ips, mozilla, etc -Bezeichnungen nichts gefunden und ich weiß ja, dass er da war und auch indexiert hat.

wäre für qualifizierte und einfühlsame antworten dankbar