chio hat geschrieben:Was heißt "meistens" - hängt das von der Laune ab?
Wenn eine Url zum ersten Mal besucht wird, kennt der Bot kein Datum, also wird er es wohl auch nicht mitschicken. Abgesehen davon bin ich
nicht der google-Bot-Programmierer und kenne auch nicht alle anderen Suchmaschinen - also 'meistens' und nicht 'immer'.
chio hat geschrieben:Also sagt der GoogleBot: Wenn sich diese Seite seit [Zeit] geändert hat, dann reiche sie mal her.
Natürlich nicht, siehe oben. Ein Server kann auch LastModified ignorieren und die Seite immer ausliefern.
chio hat geschrieben:Und was tun die durchschnittlichen Server bei statischen Seiten, die sich NICHT verändert haben?
Da siehst Du bitte in den Quellcode vom Apache rein, da steht die Antwort. Oder frag Microsoft. Ich bin dafür jedenfalls zu faul. Mit größter Wahrscheinlichkeit wird sich der 'durchschnittliche Server' die letzte Dateiänderung ansehen.
chio hat geschrieben:Das Änderungsdatum steht bei statischen Seiten im http-Header, bei dynamischen nicht (bzw immer das aktuelle Datum) . Ein Bot wird eine Seite nicht jedes mal neu parsen und indexieren, sondern vorher mal sehen, ob das überhaupt nötig ist.
Deshalb gibt es ja LastModified und den 304-Statuscode. Ansonsten liefert der Server die Seite aus - außer, der Bot fragt nach dem Erhalt des 200-Headers den Rest nicht mehr ab.
chio hat geschrieben:Dazu könnte er das Änderungsdatum hernehmen (so vorhanden) oder einen Hash (geht immer, auch bei dynamischen Seiten)
Um einen Hash über den Inhalt zu berechnen, muß der Server die Seite komplett geliefert haben (plus 200-Statuscode).