Googlebot-Angfragen

[ismap]

Moin!

In den Logfiles, die ich so studiere, ist mir etwas seltsames aufgefallen:
Googlebot kommt vorbei und fragt nach einer Datei, mit einer if-modified-since-Anfrage.
Als Antwort gibts eine 304 (NOT-modified-since) vom Server.
Genau eine Sekunde später kommt derselbe Googlebot nochmal vorbei (selbe IP, selber UA, selber Host) und will die Datei wieder haben - nur diesmal ohne eine if-modified-since-Anfrage.
Antwort des Servers diesmal: Statuscode 200 und die Datei wird ausgeliefert.

Könnt ihr das in euren Logs bestätigen?

Und: Was soll das? Sinnlose Bandbreitenverschwendung?
Anti-Spamm für DB-generierte Seiten und gefakte IMS-Dates???
Oder sieht da jemand einen anderen Sinn drin?

[Venator]

Tach auch!
Hab grad mal bei mir nachgeschaut...jedenfalls die von gestern.
Hab in den Logs ne Menge if-modified-since-Anfragen, aber nur einmal tritt das von Dir beschriebene Szenario auf. Allerdings ist es bei mir in der selben Sek. Also glaub ich kaum, daß er mal ganz kurz weg geht.
Warum er das tut, weiß ich aber auch nicht.
Vielleicht ist es so...
Bei ner negative Antwort auf ne if-modified-since-Anfrage hat er die Seite noch nicht, sondern weiß nur ob sie geändert wurde. Und dann holt er sie sich eben ohne die if-modified-since-Anfrage.

[ismap]

Hi,
neenee, meine Seiten sind seit 1999 im Index und stabil gelistet, er kennt sie also schon! Das kanns nicht sein!

[Konrad Wolfenstein]

Ein 304 kann (normalerweise) eigentlich nur kommen, wenn Google im Request eine "if modified since" Zeile mitschickt - heisst dann im Klartext: die Seite ist schon im Cache vorhanden und es soll nur geprueft werden ob eine neue(re) Version davon vorhanden ist.

Sagt ja auch schon das Wort:

modify = abändern, abwandeln, ändern

------------------------------------------------
Der 304er wird nur gesendet, wenn sich nichts geändert hat.

Der darauffolgende 200er findet dann in der Regel nur Anwendung, wenn der 304er nicht erfolgt ist, sprich: nicht gesendet wurde.

Eine Besonderheit bzw. Ausnahme spielt in diesem Falle, wenn auf der betreffenden Seite ein Java Skript verwendet bzw. vom Googlebot erkannt wird.

[ismap]

Momentchen, Herr Wolfenstein...der ausgelieferte 304 ist ein HTTP-Header, und somit wird mit 100%iger Sicherheit kein Javascript verschickt, denn das würde im html (oder im externen .js) stehen, welches wiederum nicht ausgeliefert wird, da der Server ja korrekt antwortet: Nö, Datei hat sich seit dem angefragten Datum nicht geändert (304)!! Nur Header, keine Datei, somit kein Script.
Zum zweiten wurde der 304er sicher korrekt versendet, da er a) sonst nicht im Logfile stehen würde und b) alle "normalen" Browser-Zugriffe auch gerne mal eine 304 sind, und da folgt kein 200er hinterher...

[Konrad Wolfenstein]

Ist schon klar. Dass Google Seiten mit Code 304 checkt, bis dahin sind wir einer Meinung.

Aber dass der Googlebot nochmals vorbeikommt hängt mit dem Java Skript zusammen. Das zieht ja nicht gegenteiliges oder negatives nach sich. Java kann ja alles sein. Welche Bewandnis diese Vorgehensweise von Google auf sich hat, darüber gibt es reichlich Spekulationen.

Ich schrieb ja, ein 200er erfolgt nur (sofern alles korrekt ist), wenn der 304er nicht erfolgt ist (also eine Änderung statt gefunden hat). Mit der Ausnahme bei eben Inhalten mit Java Skript. Google erkennt Java Skripte sehr wohl, nur interpretiert er sie nicht.

[Konrad Wolfenstein]

Ergänzung:

Dein Inhalt im Google Cache:

<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
<BASE HREF="https://mitglied.lycos.de/slucky/"><table border=1 width=100%><tr><td><table border=1 bgcolor=#ffffff cellpadding=10 cellspacing=0 width=100% color=#ffffff><tr><td><font face=arial,sans-serif color=black size=-1>Dies ist <b><font color=#0039b6>G</font> <font color=#c41200>o</font> <font color=#f3c518>o</font> <font color=#0039b6>g</font> <font color=#30a72f>l</font> <font color=#c41200>e</font></b> s <a href="https://www.google.com/intl/de/help/fea ... hed"><font color=blue>Cache</font></a> von <A HREF="https://mitglied.lycos.de/slucky/"><font color=blue>https://mitglied.lycos.de/slucky/</font></a>.<br>
<b><font color=#0039b6>G</font> <font color=#c41200>o</font> <font color=#f3c518>o</font> <font color=#0039b6>g</font> <font color=#30a72f>l</font> <font color=#c41200>e</font></b>s Cache enthält einen Schnappschuss der Webseite, der während des Webdurchgangs aufgenommenen wurde.<br>
Unter Umständen wurde die Seite inzwischen verändert.Klicken Sie hier, um zur <A HREF="https://mitglied.lycos.de/slucky/"><font color=blue>aktuellen Seite</font></a> ohne Hervorhebungen zu gelangen.<br>Um einen Link oder ein Bookmark zu dieser Seite herzustellen, benutzen Sie bitte die folgende URL: <code>https://www.google.com/search?q=cache:R ... nter><font size=-2><i>Google steht zu den Verfassern dieser Seite in keiner Beziehung.</i></font></center></td></tr></table></td></tr></table>
<hr>
<script language="javascript">

myreg=new RegExp("lycos\.de","i");
if ( !myreg.test("'"+top.location+"'") ) {
nwreg=new RegExp ("http://([^/]+)?(/([a-z0-9A-Z\-\_]+)?[^']+)","i");
rn=nwreg.exec("'"+self.location+"'");
if (parent.frames.length==2) { top.location="http://" + rn[1] + rn[2]; }
else { top.location="http://" + rn[1] + "/" + rn[3]; }
}

if(window == window.top) {
var address=window.location;
var s='<html><head><title>'+'</title></head>'+
'<frameset cols="*,140" frameborder="0" border="0" framespacing="0" onload="return true;" onunload="return true;">'+
'<frame src="'+address+'?" name="memberPage" marginwidth="0" marginheight="0" scrolling="auto" noresize>'+
'<frame src="https://ads.tripod.lycos.de/ad/google/f ... =&category;" name="LycosAdFrame" marginwidth="0" marginheight="0" scrolling="auto" noresize>'+
'</frameset>'+
'</html>';

document.write(s);
}
</script>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">

<html>
<head>
<title>ISMAP</title>
</head>

<body>
<table border="0" width="100%" height="100%">
<tr>
<td align="center" valign="middle">
<img src="ismaporg.jpg">
</td>
</tr>
</table>


</body>
</html>

</pre></xmp></noscript>

<script language="javascript" src="https://ads.tripod.lycos.de/ad/test_fra ... "></script>

<script language="javascript">
if (!AD_clientWindowSize()) {
document.write("<NOSC"+"RIPT>");
}
</script>

<script type="text/javascript">
function setCookie(name, value, expires, path, domain, secure) {
var curCookie = name + "=" + escape(value) +
((expires) ? "; expires=" + expires.toGMTString() : "") +
((path) ? "; path=" + path : "") +
((domain) ? "; domain=" + domain : "") +
((secure) ? "; secure" : "");
document.cookie = curCookie;
}

var ad_url = "https://ads.tripod.lycos.de/ad/google/f ... &cat=noref";
var ref=window.document.referrer;

if(parent.LycosAdFrame) {
if(parent.memberPage && parent.memberPage.document.title ) {
parent.document.title=parent.memberPage.document.title;
}

if(parent.LycosAdFrame && parent.LycosAdFrame.location && (ref != "" && (ref+"?" != window.location) && (ref.substr(ref.length-1,1) != "/")) ) {
parent.LycosAdFrame.location.replace(ad_url);
}
setCookie("adFrameForcePHP",0,0," ");
parent.document.body.cols = "*,140";
}
else if(top.LycosAdFrame && top.LycosAdFrame.location) {
if ((ref != "" && (ref+"?" != top.window.location) && (ref.substr(ref.length-1,1) != "?"))) {
top.LycosAdFrame.location.replace(ad_url);
}
setCookie("adFrameForcePHP",0,0," ");
top.document.body.cols = "*,140";
}
else {
if (!window.opener) {
setCookie("adFrameForcePHP",1,0," ");
}
else {
setCookie("adFrameForcePHP",0,0," ");
}
}

if (window.top.location.href.indexOf("https://mitglied.lycos.de")!=-1) {
ad_frame = 1 ;
window.top.document.body.cols="*,140" ;
}

function resizeGoogleAdFrame() {
window.top.document.body.cols = "*,140";
}


if (ad_frame == 1 && AD_clientWindowSize()) {
setInterval("resizeGoogleAdFrame()", 30);
}

</script>

<script type="text/javascript" src="https://ads.tripod.lycos.de/ad/ad.php?c ... "></script>

Daher weiß Google, dass Dein Content mind. ein Java Skript beinhaltet.

Wie gesagt, hat nichts negatives zu sagen und über diese Vorgehensweise von Google gibt es reichlich Spekulation. Von den meisten halte ich nichts.