Googlebot/2.1 (+http://www.google.com/bot.html)

Beitrag von **bugscout** » 29.03.2006, 11:32

moin moin,

ist der Googlebot/2.1 (+https://www.google.com/bot.html) heute krank?

sonst besucht er mich jeden tag mehrere male.

grüsse

von **Anzeige von ABAKUS** »

Beitrag von **twiggie** » 29.03.2006, 11:34

Wenn er bei mir fertig ist, dann sage ich ihm Bescheid

Spaß bei Seite. Bei mir keine Auffälligkeiten. Er grast die Weide wie immer.
Twigg

Beitrag von **Indigo** » 29.03.2006, 11:44

Bei mir war er heute auch noch nicht...

Dafür hatte ich Montag wohl nen Deepcrawl und er war die halbe Nacht da...

von **Anzeige von ABAKUS** »

Beitrag von **spickzettel** » 29.03.2006, 11:49

Vielleicht war stattdessen ja der neue da?

Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Beitrag von **bugscout** » 29.03.2006, 11:55

moin moin,

bei mir ist immer der neue und der alte da.
~500 zugriffe alt
~2000 zugriffe neu
nur heute eben nur der neue.

grüsse

Beitrag von **Southmedia** » 29.03.2006, 12:29

Matts Cutts schrieb heute in seinem Blog, dass die meisten Rechenzentren von Google auf "Big Daddy" umgestellt wurden und dementsprechend eher der "neue" Mozilla-Googlebot unterwegs ist.

Beitrag von **bugscout** » 30.03.2006, 14:45

moin,

im moment ist er ja ganz brav am spidern.
mal sehen, ob das so bleibt.

grüsse

Beitrag von **dermeister** » 30.03.2006, 20:22

Hallo,
bin ziemlich neu auf diesem Gebiet.
Sagt mal, wie stellt man den fest dass der Bot da war?

Beitrag von **akschu** » 31.03.2006, 10:23

musst mal in deine logfiles gucken

Beitrag von **Steffi** » 31.03.2006, 14:00

Heute hab ich den Mozilla von 66.249.66.196 auf fast allen Domains, auch auf einer neuen, bei der noch keine Unterseiten im Index sind. Mal sehen ob die Seiten dann in den nächsten Tagen im Index auftauchen, sollten sie ja eigentlich wenn man Matt C glauben darf.

Beitrag von **Steffi** » 31.03.2006, 14:59

So, also für meine neue Seite jedenfalls kann ich´s bestätigen, der Mozilla bringt Seiten in den Index. Am 28.3. hat er gut 20 Seiten meiner neuen Domain gefressen und gut die Hälfte ist seit heut im Index. Mal sehen ob der Rest noch (heute) kommt.

Beitrag von **Fox Mulder** » 31.03.2006, 15:51

Seit dem 24.03 sehe ich einen Googlebot mit abgewandeltem User Agent:

Code: Alles auswählen

HTTP/1.1 GoogleBot/2.1

mit der IP 66.249.65.177 von Google.
Der Bot kommt einmal am Tag und holt sich nur die Statseite.
Der Mozilla Googlebot mit der üblichen Kennung ist parallel unterwegs.

Gruss

Beitrag von **google_hupf** » 31.03.2006, 21:16

Bei mir kommt eigentlich ebenfalls seit dem 28. nix mehr - der alte googlebot (zumindest laut 1&1 logfiles) kaum noch und aber auch keine neuen bots, kein mozilla 5.5, kein googlebot 2.1 wie ihr schreibt. wie versteckt sich der bot und warum? früher war er hyperkativ? neue seiten scheint er aber noch zu finden und in den index aufzunehmen...

Beitrag von **Chris2005** » 31.03.2006, 21:25

Abwarten und den beruehmten Tee trinken... Bei Google ist im Moment einiges im Umbruch und das wirkt sich auch auf die Crawlaktivitaet aus.

Ganz sauber scheint die Crawl-Steuerung aber nicht zu funktionieren, denn eine neue PR5 Domain wird mehrmals am Tag komplett gespidert. Ein andere Domain (ca. 1 Jahr alt - PR4) kriegt zwar auch regelmaessig Besuch vom Mozilla Bot, aber weitaus nicht soviel wie die neue Domain.

Da die Domains aber alle sauber sind, harre ich einfach mal der Dinge, die da kommen. Frustrierend ist es trotzdem. Ebenfalls dauert es eine Ewigkeit bis neue Seiten im Index sind

Beitrag von **tingeltangeltill** » 01.04.2006, 12:30

äh, kann man immer noch nach googlebot in den logs schauen oder was muss man da jetzt suchen?

habe über die ips, mozilla, etc -Bezeichnungen nichts gefunden und ich weiß ja, dass er da war und auch indexiert hat.

wäre für qualifizierte und einfühlsame antworten dankbar