Googlebot ruft 2x hintereinander in 1 min die selbe Seite ab

Beitrag von **Spacefish** » 27.01.2008, 23:55

66.249.66.18 - - [27/Jan/2008:18:09:29 +0100] "HEAD / HTTP/1.1" 200 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.66.18 - - [27/Jan/2008:18:10:29 +0100] "HEAD / HTTP/1.1" 200 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

dieses nette Ding habe ich in meinen Logfiles gefunden.. wieso ruft der Googlebot 2x hintereinder die Header der Startseite ab? Voralem im Abstand einer Minute? Wird überprüft ob sich die Seite ständig ändert? Evtl. kann man mit diesem Wissen das so etwas passiert auch SEO betreiben?

von **Anzeige von ABAKUS** »

Beitrag von **Spacefish** » 27.01.2008, 23:58

ach mein Server antwortet mit dem header auf die abfrage:

Code: Alles auswählen

HTTP/1.0 200 OK
Date&#58; Sun, 27 Jan 2008 22&#58;56&#58;28 GMT
Server&#58; Apache/2.2.4 &#40;Unix&#41;
Set-Cookie&#58; session=ec37b412a8145627670bc96c41177532; expires=Fri, 25 Jan 201322&#58;56&#58;28 GMT; path=/
Expires&#58; Thu, 19 Nov 1981 08&#58;52&#58;00 GMT
Cache-Control&#58; no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma&#58; no-cache
Content-Type&#58; text/html
X-Cache&#58; MISS from gateway.gatenet
Connection&#58; close

php header schick ich nicht mit, muss ja net jeder wissen das ich php verwende! Der X-Cache: MISS from gateway.gatenet ist ein lokaler Proxy!

Es handelt sich ansich um die Seite https://www.howhot.de/ page hat noch PR0 oder wieder PR0 da die Seite ein paar Wochen Down war.. vielleicht kann mir ja jemand noch optimierungstips geben.. Ansich tut google nur vollkommen wild Daten abrufen gerade... Es werde voralem auch URLS abgerufen die garnimmer existieren, die es nur bei der alten Version der Seite gab... hab die jetzt mit nem permanently moved header auf die entsprechenden neuen Seiten umgeleitet.

Beitrag von **Lord Pixel** » 28.01.2008, 14:36

Der Yahoo Bot hat bei mir eben auch eine Seite 2x in 4 Sekunden aufgerufen. Ist also nicht mal Google-typisch. Ein Erklärungsversuch wäre, dass G/Y wissen will, ob es dynamische Elemente gibt ...

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Spacefish** » 28.01.2008, 22:37

Lord Pixel hat geschrieben:Der Yahoo Bot hat bei mir eben auch eine Seite 2x in 4 Sekunden aufgerufen. Ist also nicht mal Google-typisch. Ein Erklärungsversuch wäre, dass G/Y wissen will, ob es dynamische Elemente gibt ...

ja, ok aber das können sie mit reinen HEAD abfragen ja nicht rauskriegen, da ja da kein Content übertragen wird!

Beitrag von **Lord Pixel** » 29.01.2008, 09:35

Allerdings kann man Header manipulieren, bzw. verhalten sich manche Header wie Date/ETag meines Wissens nach je nach Server verschieden. Vielleicht ist die These mit dem dynamischen Content aber auch falsch, und es gibt einen ganz anderen Grund.

Beitrag von **Spacefish** » 29.01.2008, 17:21

Deine These mit dem dynamischen Content ist mit Sicherheit falsch denke ich, da ja kein Content abgerufen wird defakto bei einer HEAD Anforderung, Content wird nur ausgeliefert wenn man ein GET schickt. Meine Header sind manipuliert o.O ^^