Seite 1 von 1
Googlebot/2.1 spidert seit Wochen die gleichen Seiten
Verfasst: 20.08.2004, 17:12
von Sagem
Nabend zusammen,
meine Site (PR4) umfasst ca. 500 Seiten und o.g. Bot spidert seit langen vielen Wochen diese 500 Seiten fast alle immerwieder täglich.
Das Log-File weist für jede Seite - auf den jeweiligen Spider-Tag bezogen -nachfolgenden Code aus:
[19/Aug/2004:04:42:30 +0200]
Ist das normal? Irgendwann sollte doch der "+200" zu einem anderen? Code wechseln.
Wäre nett wenn ich hierzu einige kluge Statements lesen dürfte.
Vorab für alle ein schönes Wochenende
Verfasst: 20.08.2004, 18:54
von LinkPop
Ist das nicht die Angabe der Zeitzone? Wenn ja, wechselt die eher selten
Verfasst: 20.08.2004, 19:47
von SvenT
HTTP-Statuscodes sind auch eher selten 4-stellig meines Wissens
Abgesehen davon ist doch ein 200er gut - oder wär' Dir 404 lieber
LinkPop hat natürlich recht, das heisst nichts anderes als "GMT+2"...
Verfasst: 20.08.2004, 21:03
von Sagem
Zuerst einmal Danke fürs Lesen und Eure Antworten!
Jedoch ich war wohl etwas hirnrissig:) Das mit der Zeitzone, naja, das war mir klar. Ich hab dämmlicherweise die Frage falsch gestellt.
HTTP/1.0" 200 14091 "-" "Googlebot/2.1
Das meine ich mit der 200 und nicht die Zeitzone.
Nungut, es scheint mit der "200" beim Bot Eurer Meinung nach alles okidoki zu sein, obwohl der Bot täglich die gleichen Seiten zu Hauf spidert.
Dann kann ich ja gut schlafen
Gute Nacht..
Verfasst: 20.08.2004, 21:40
von SvenT
das mit dem wiederholten Spidern stelle ich auch immer öfter fest in letzter Zeit - aber soll er doch - das bissl Traffic verkrafte ich gerade noch so
Verfasst: 20.08.2004, 21:51
von Jojo
Naja offensichtlich ist deine Seite beim Googlebot relativ beliebt. Freu dich doch. Wirst vermutlich einen hohen PR haben.
Verfasst: 21.08.2004, 00:28
von linux
ganz klar code 200 heißt die seite konnte aufgerufen werden. willst traffic sparen und google schneller deine seiten aufnehmen lassen würd ich if modified since empfehlen. du kannst google so mitteilen ob sich auf der seite was geändert hat. wenn nicht wird ein 304 geschickt und du sparst bandbreite. bei großen seiten ist das wichtig denn so kann ich den bot länger auf der seite halten
https://www.google.com/webmasters/guidelines.html
Make sure your web server supports the If-Modified-Since HTTP header. This feature allows your web server to tell Google whether your content has changed since we last crawled your site. Supporting this feature saves you bandwidth and overhead.
