Kommt der Googlebot manchmal mit Referer *google(.de|.com|.at)*?
In versch. Weblogs werden allen Besuchern mit eben diesen Referern gecloakte (aber gutartige!) Seiten geliefert damit die Leute sich besser auf den Seiten zurechtfinden. Nur wenn der Googlebot selbst (manchmal) diesen Referer verwendet würde das ja zwangsläufig zur Abstrafung führen.
ich persönlich habe den googlebot noch nicht mit referer gesehen... hat mich bisher aber auch noch nicht interessiert, 100%ig kann ich es dir also nicht sagen...
Das ist eben die Frage ober der mit liefert wo er vorher gespidert hat.
Google muss einen Referer liefern weil man das über einen normalen Browser abruft.
Der Googlebot jedoch ist eine Softwareanwendung und da könnte die Übertragung des Referer ausgeschalten sein, was weiss ich. Deshalb frage ich ja ob der Googlebot wie ein normaler User einen (korrekten) Referer übermittelt.