Woran erkennt Gurgel aktualisierte Seiten?

Also, nochmal für mein Kleinhirn:
Der Googlebot fragt mit sowas wie "if modified since.. " nach einer Seite.
Danach tut der Server etwas Geheimnisvolles.

Immerhin:
Das würde bedeuten, dass ein richtig konfigurierter Server zumindest bei statischen Seiten weniger Traffic durch Bots verursacht, das wäre ja schon mal eine Erkenntnis.

chio hat geschrieben:Also, nochmal für mein Kleinhirn:
Der Googlebot fragt mit sowas wie "if modified since.. " nach einer Seite.
Danach tut der Server etwas Geheimnisvolles.

@chio, Du betreibst da Philosophie und interpretierst Dinge hinein, die nicht drin sind.

Der Bot fordert eine Seite an und schickt zusätzlich (im Gegensatz zu den meisten Browsern) noch das Datum mit, zu dem er die Seite zum letzten Mal geholt hat (falls er sie schon kennt).

Dann kann der Server dieses Datum ignorieren und die Seite sofort komplett ausliefern (also Status-200 wie die meisten dynamischen Seiten, die einfach 200 plus Content liefern) oder der Server betrachtet sich als kompetent, zu sagen: 'Nee, auf der Festplatte ist etwas, das älter ist als die Uhrzeit' - und schickt einen 304 ohne Content zurück.

Geheimnisvoll ist da überhaupt nichts, das ist völlig primitiv. Die meisten PHP-Spezies führen bloß in ihren Datenbanken nicht zusätzlich Zeitstempel mit, also generieren sie die Seite halt neu und ignorieren die If-Modified-Since-Information.

chio hat geschrieben:Das würde bedeuten, dass ein richtig konfigurierter Server zumindest bei statischen Seiten weniger Traffic durch Bots verursacht, das wäre ja schon mal eine Erkenntnis.

Das stimmt - allerdings ist das eine seit Jahren bekannte Sache. Bei mir kriegt der Bot reihenweise 304 und keinen Content mehr, trotzdem sind meine Seiten mit Content in den Serps drin.

oldInternetUser hat geschrieben:@chio, Du betreibst da Philosophie und interpretierst Dinge hinein, die nicht drin sind.

Ja, mein Hobby.
Aber irgendwas war da wohl noch im verlängerten Rückenmark:
https://www.google.de/support/webmaster ... swer=35769

gott hat geschrieben:Stellen Sie sicher, dass Ihr Webserver den HTTP-Header "If-Modified-Since" unterstützt. Über diese Funktion kann Ihr Webserver Google mitteilen, ob der Inhalt seit dem letzten Crawling Ihrer Website geändert wurde. Mit dieser Funktion können Sie Bandbreite und Overhead einsparen.

Aber bei Google weiß man ja nie, obs noch stimmt.