Woran erkennt Gurgel aktualisierte Seiten?

[chio]

Also, nochmal für mein Kleinhirn:
Der Googlebot fragt mit sowas wie "if modified since.. " nach einer Seite.
Danach tut der Server etwas Geheimnisvolles.

Immerhin:
Das würde bedeuten, dass ein richtig konfigurierter Server zumindest bei statischen Seiten weniger Traffic durch Bots verursacht, das wäre ja schon mal eine Erkenntnis.

[oldInternetUser]

Also, nochmal für mein Kleinhirn:
Der Googlebot fragt mit sowas wie "if modified since.. " nach einer Seite.
Danach tut der Server etwas Geheimnisvolles.

@chio, Du betreibst da Philosophie und interpretierst Dinge hinein, die nicht drin sind.

Der Bot fordert eine Seite an und schickt zusätzlich (im Gegensatz zu den meisten Browsern) noch das Datum mit, zu dem er die Seite zum letzten Mal geholt hat (falls er sie schon kennt).

Dann kann der Server dieses Datum ignorieren und die Seite sofort komplett ausliefern (also Status-200 wie die meisten dynamischen Seiten, die einfach 200 plus Content liefern) oder der Server betrachtet sich als kompetent, zu sagen: 'Nee, auf der Festplatte ist etwas, das älter ist als die Uhrzeit' - und schickt einen 304 ohne Content zurück.

Geheimnisvoll ist da überhaupt nichts, das ist völlig primitiv. Die meisten PHP-Spezies führen bloß in ihren Datenbanken nicht zusätzlich Zeitstempel mit, also generieren sie die Seite halt neu und ignorieren die If-Modified-Since-Information.

Das würde bedeuten, dass ein richtig konfigurierter Server zumindest bei statischen Seiten weniger Traffic durch Bots verursacht, das wäre ja schon mal eine Erkenntnis.

Das stimmt - allerdings ist das eine seit Jahren bekannte Sache. Bei mir kriegt der Bot reihenweise 304 und keinen Content mehr, trotzdem sind meine Seiten mit Content in den Serps drin.

[chio]

@chio, Du betreibst da Philosophie und interpretierst Dinge hinein, die nicht drin sind.

Ja, mein Hobby.
Aber irgendwas war da wohl noch im verlängerten Rückenmark:
https://www.google.de/support/webmaster ... swer=35769

Stellen Sie sicher, dass Ihr Webserver den HTTP-Header "If-Modified-Since" unterstützt. Über diese Funktion kann Ihr Webserver Google mitteilen, ob der Inhalt seit dem letzten Crawling Ihrer Website geändert wurde. Mit dieser Funktion können Sie Bandbreite und Overhead einsparen.

Aber bei Google weiß man ja nie, obs noch stimmt.

[axelm]

Das gab es in der Diplom Arbeit von Larry auch mal ne Beschreibung in einer Art White Paper. Wenn der Bot wenn der Bot eine Seite runterlädt dann bildet er daraus eine größe, wenn sich die Größe andert sollte der Bot nochmal vorbeikommen.
Manchmal nur deshalb weil viele Webserver falsch eingestellt sind und es eine Glückssache ist ob "If-Modified-Since" oder 304 mitgesendet wird.

[To-Bi-As]

Um es weiter zu verwirren, bei PHP kommen noch Begriffe wie "$_SERVER['HTTP_IF_NONE_MATCH']" und "ETAG" mit vor.

Fertige Scripte dazu die zur eigenen Anpassung genutzt wedern könne gibt es von der alten Pear-Klasse. Datei "Compress.php", die Header 304 und gzip-Kompression beinhaltet.

Gruß.