ABAKUS

Verfasst: **31.05.2005, 11:33**

Hallo,

Ich habe eine merkwürdige Beobachtung gemacht:

Auf einer meiner Sites kommt der Googlebot täglich und holt sich die Startseite, alle 10-14 Tage die komplette Site. Dabei sind die Zugriffe wie bei der Gaußschen Verteilung: erst ein paar Seiten pro Stunde, langsame Steigerung auf ein paar Seiten pro Minute, dann wieder zurück auf ein paar Seiten pro Stunde. Dann ist er wieder weg...

Seltsamerweise hat er am 21.05. den Crawl mittendrin (etwa auf der Spitze der Verteilungskurve) abrupt abgebrochen und war weg, seitdem wieder einmal täglich die Startseite.

Ich hab' mir erst nichts weiter dabei gedacht ( ausser:

), aber jetzt wieder genau dasselbe: gestern hat er langsam angefangen und heute früh wieder abruptes Ende!

Hat noch jemand ähnliches beobachtet, oder sogar eine Erklärung?

Grüsse aus PI,
Jan

Verfasst: **31.05.2005, 13:30**

kann ich bestätigen, um wie viele Seiten handelt es sich denn bei dir???

Verfasst: **31.05.2005, 13:42**

Hallo Steffi,

ca. 2000.
Normalerweise holt er sich alle, nur die letzten beiden male war nach rund 1000 Seiten Schluß.

Beim ersten mal dachte ich noch kurz an das letzte Update: Google pfeift alle Bots zurück, um sich ganz der internen Rechnerei zu widmen. Aber heute schon wieder?

Grüße,
Jan

Verfasst: **31.05.2005, 14:01**

Die Linkstruktur wäre dabei noch interessant, liegt der Grossteil der Seiten eher parallel:

z.B. 20 Rubriken mit jeweils 100 Artikeln

oder liegen die Seiten eher nacheinander:

z.B. Bilderserien
Page 1 zeigt den Link zu Page 2, Page2 zu Page 3 usw.
???

Verfasst: **31.05.2005, 14:18**

Eher parallel. Fast alle Seiten sind max. drei Links von der Startseite entfernt, einige auch vier. Bei den Vierern hat er aber auch (teilweise) zugeschlagen.

Wie sieht's bei Dir aus?

Verfasst: **31.05.2005, 14:46**

bei mir ist es ähnlich, alles max. 3 oder 4 Klicks von der Startseite entfernt

zur Zeit ist das Crwal Verhalten bei mir jedenfalls auch sehr merkwürdig, manchmal kommt der Bot vorbei und liest nur ein paar Seiten über den ganzen Tag verteilt

Verfasst: **31.05.2005, 15:01**

Hmm,

wenn's bei mir ein paar Seiten über den Tag verteilt wären (mit dem typischen Zugriffsverlauf) , würde ich mich nicht weiter wundern (ok., ich würd' mich schon wundern...).

Was mich halt wirklich wundert, ist, daß er erst voll zuschlägt und dann mittendrin aufhört! Unerhört...

Vielleicht grabe ich diesen Thread in 10-14 Tagen nochmal aus und berichte, wie es dann gelaufen ist.

Verfasst: **31.05.2005, 15:14**

wie kann man stundlich beobachten die bewegung von google bot

in meinem weblizer ist nicht so viel zu sehen

mit welchem tools seht ihr das ?

Verfasst: **31.05.2005, 15:34**

@xkrainer:

Ich mache das nicht mit Analyse-Tools à la webalizer, sondern mit dem rohen Logfile und Linux-Konsolentools:

Code: Alles auswählen

>cat transfer.log | grep Googlebot

Leider weiss ich nicht ob es (andere) Tools für diese Aufgabe gibt.

Gruß,
ein bekennender Logfile-Junkie

Verfasst: **31.05.2005, 16:31**

https://www.robotstats.com/
ich teste das dem nächst mal. kann mich ja mal einer dran erinnern dann berichte ich mal.

ABAKUS

Googlebot bricht Crawl ab

Googlebot bricht Crawl ab

Googlebot bricht Crawl ab

Googlebot bricht Crawl ab

Googlebot bricht Crawl ab

Googlebot bricht Crawl ab

Googlebot bricht Crawl ab