Meldet sich Google auch immer mit "Google"?!

Beitrag von **wuschba** » 02.01.2009, 14:10

Hallo! Ich habe auf meiner Seite ein kleines Script eingebaut, das ganz einfach den Useragent abfragt und in ner Datenbank speichert, wann Google ne Seite gespidert hat. Damit kann ich schneller sehen, wann Google z.B. eine neue Unterseite besucht hat. Funzt wunderbar, wenn ich z.B. in Firefox den Useragent in "Googlebot" ändere und damit auf die Seite gehe.

Jetzt habe ich die Hauptseite gestern Nachmittag geändert - und heute sind die Änderungen bei Google auch schon drin (also im Cache sichtbar).

Mein Problem: Laut meinem Script und auch den Access-Logs habe ich von gestern an KEINEN EINZIGEN ZUGRIFF von Google auf die Hauptseite.

Daher meine Frage: Meldet sich Google immer mit "Google"/"Googlebot", oder schaut die Tante auch schon mal als MSIE 6.0 o.ä. vorbei?

von **Anzeige von ABAKUS** »

Beitrag von **Nicos** » 02.01.2009, 14:44

jo, schaut auch öfter mal als Browser getarnt vorbei!
Wenn dann andere Inhalte sichtbar sind, als der bot mit "Originalkennung" sieht, hast Du ein Problem...

Grüße
Nicos

Beitrag von **Vegas** » 02.01.2009, 17:13

Meist kommt Google auch als Googlebot vorbei, aber wie Nicos schon erwähnt hat, nicht immer.

Es gibt Datenbanken, die (fast) immer alle aktuellen Google IPs drin haben, aber da diese Angebote sich eher an Leute die professionell Cloaken wollen richten, sind sie ziemlich kostspielig...für eine bloße interne Auswertung lohnt das nicht.

Beitrag von **wuschba** » 03.01.2009, 09:49

Danke für die Antworten. Ja, da ich nur caseless nach "Google" suche, sollte "Googlebot" auch gefunden werden

Aber ne IP-DB lohnt sich für mich wirklich nicht, ist ja eher ne "Heimanwendung" - dann kann ich mir auch immer das Cache-Datum ansehen.