ABAKUS

Hallo,

der Googlebot mit dem Mozilla Useragent ist heute mal wieder in meinen Logfiles aufgetaucht.


Mozilla/5.0+(compatible;+Googlebot/2.1;++https://www.google.com/bot.html)

Habe ich schon längere Zeit nicht mehr gesehen.
Hat jemand inzwischen eine Vermutung warum G mit diesem Bot zusätzlich spidert?

Gruss

Index -Säuberung/-Überprüfung/-Wartung...

@Fox Mulder

Der von Dir angesprochene Spider war zuletzt am 02 / 03.11.2004 zu Besuch; sein Verhalten: heute holt er sich einige Seiten, morgen (also am 03.12.2004) wird er wie "wild räubern", um sich wieder für ca. 4 Wochen zu verabschieden...

Gruss,

KeepCool

sicher das es wirklich ein Bot war ???

denn beispielsweise gibt es für den Firefox einen netten zusatz wo ich als Kennung alles mögliche eintragen kann...

Bei mir war dieser Bot das letzte Mal am 1.11.2004 in die Spiderfalle getappt, allerdings mit leicht anderem User Agent:

Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
IP: 66.249.65.196

Halli hat geschrieben:Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Bei mir kommt er jeden Tag einmal, holt sich die index und geht wieder.
Komisches verhalten.

Gruss

Hab mal ne Frage:

weiss hier jemand wie lange es durchschnittlich dauert, bis der GurgelBot die ausgelesenen Daten in die Datenbank uebertraegt, so dass man diese in den Ergebnissen sehen kann ???

Danke fuer Antworten!

Das hängt von der Kennung ab. Beim normalen Googlebot/2.1 dauert es maximal eine Woche. Seiten die vom Mozilla/5.0-Bot geholt worden, sind bei mir noch nicht in den SERPs aufgetaucht.

hmm ich sehe jetzt gerade das bei mir dieser Googlebot/2.1 auch mit Mozilla Kennung in meinen Logs auftaucht..
66.249.66.79 - - [26/Jan/2005:04:07:38 +0100] "GET /Haus-Wendt+60.html HTTP/1.1" 200 2395 www.ostsee-tdf.de "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)" "-"