64.68.83.xxx crawl35.googlebot.com bei mir war der heute morgen auch, nur mit einer anderen Ip und einem Netscape Browser ..., ihr habt nicht zufällig etwas neues über den Bot oder? Dich gefolgt kam dann noch 64.68.82.xxx crawler14.googlebot.com der war wie immer ohne Browser sondern mit ?? unterwegs. Warum hat crawl35 eigentlich einen Browser in meinen Logs hinterlassen, das hatte ich noch nie??
Mir wurde von einem Kollegen gesagt das der Bot sehr wahrscheinlich zum aufspühren von Doorways dienen soll, bestätigen kann ich das allerdings nicht, lobenswert wäre es auf jeden fall!
Da ich nicht mit Doorways arbeite, hab ich auch nichts zu befürchten,
der kann gerne jeden Tag kommen
Ein Blick auf meine Logfiles verrät mir, daß der Bot zwar wie ein Netscape aussieht, tatsächlich der Browserstring sehr wohl die Kennung "googlebot" beinhaltet.
Ich kann mir nicht vorstellen, daß Tante Google uns für so dumm hält.
Ich möchte nicht extra einen neuen Thread eröffnen. Ich hatte gestern auch einen seltsamen Eintrag in den Logfiles, vielleicht kann mir jemand erklären, was das sein soll:
open-131-161-251-100.cliq.com - - [04/Sep/2004:20:54:57 +0200] "GET / HTTP/1.0" 200 19122 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
Wenn ich open-131...cliq.com eingebe, komme ich auf einer Subdomain von cliq.com raus. Wie aber hängt das Ganze mit dem Googlebot zusammen?
Gespidert wurde übrigens nur die robots.txt und die index-Seite
Hatte am 2.9.2004 auch Besuch von dem hier: crawl35.googlebot.com. Nachdem der da war, habe ich ca. 110 neue Seiten im Index die vorher seit Wochen von den anderen Google-Bots verschmäht wurden. Da diese Seiten alle von einer Seite aus intern verlinkt sind, macht die "Vermutung" mit den doorwaypages von The Dance für mich auch Sinn.