Googlebot bricht Crawl ab

Beitrag von **Jansen** » 31.05.2005, 11:33

Hallo,

Ich habe eine merkwürdige Beobachtung gemacht:

Auf einer meiner Sites kommt der Googlebot täglich und holt sich die Startseite, alle 10-14 Tage die komplette Site. Dabei sind die Zugriffe wie bei der Gaußschen Verteilung: erst ein paar Seiten pro Stunde, langsame Steigerung auf ein paar Seiten pro Minute, dann wieder zurück auf ein paar Seiten pro Stunde. Dann ist er wieder weg...

Seltsamerweise hat er am 21.05. den Crawl mittendrin (etwa auf der Spitze der Verteilungskurve) abrupt abgebrochen und war weg, seitdem wieder einmal täglich die Startseite.

Ich hab' mir erst nichts weiter dabei gedacht ( ausser:

), aber jetzt wieder genau dasselbe: gestern hat er langsam angefangen und heute früh wieder abruptes Ende!

Hat noch jemand ähnliches beobachtet, oder sogar eine Erklärung?

Grüsse aus PI,
Jan

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Steffi** » 31.05.2005, 13:30

kann ich bestätigen, um wie viele Seiten handelt es sich denn bei dir???

Beitrag von **Jansen** » 31.05.2005, 13:42

Hallo Steffi,

ca. 2000.
Normalerweise holt er sich alle, nur die letzten beiden male war nach rund 1000 Seiten Schluß.

Beim ersten mal dachte ich noch kurz an das letzte Update: Google pfeift alle Bots zurück, um sich ganz der internen Rechnerei zu widmen. Aber heute schon wieder?

Grüße,
Jan

von **Anzeige von ABAKUS** »

Beitrag von **Steffi** » 31.05.2005, 14:01

Die Linkstruktur wäre dabei noch interessant, liegt der Grossteil der Seiten eher parallel:

z.B. 20 Rubriken mit jeweils 100 Artikeln

oder liegen die Seiten eher nacheinander:

z.B. Bilderserien
Page 1 zeigt den Link zu Page 2, Page2 zu Page 3 usw.
???

Beitrag von **Jansen** » 31.05.2005, 14:18

Eher parallel. Fast alle Seiten sind max. drei Links von der Startseite entfernt, einige auch vier. Bei den Vierern hat er aber auch (teilweise) zugeschlagen.

Wie sieht's bei Dir aus?

Beitrag von **Steffi** » 31.05.2005, 14:46

bei mir ist es ähnlich, alles max. 3 oder 4 Klicks von der Startseite entfernt

zur Zeit ist das Crwal Verhalten bei mir jedenfalls auch sehr merkwürdig, manchmal kommt der Bot vorbei und liest nur ein paar Seiten über den ganzen Tag verteilt

Beitrag von **Jansen** » 31.05.2005, 15:01

Hmm,

wenn's bei mir ein paar Seiten über den Tag verteilt wären (mit dem typischen Zugriffsverlauf) , würde ich mich nicht weiter wundern (ok., ich würd' mich schon wundern...).

Was mich halt wirklich wundert, ist, daß er erst voll zuschlägt und dann mittendrin aufhört! Unerhört...

Vielleicht grabe ich diesen Thread in 10-14 Tagen nochmal aus und berichte, wie es dann gelaufen ist.

Beitrag von **xkrainer** » 31.05.2005, 15:14

wie kann man stundlich beobachten die bewegung von google bot

in meinem weblizer ist nicht so viel zu sehen

mit welchem tools seht ihr das ?

Beitrag von **Jansen** » 31.05.2005, 15:34

@xkrainer:

Ich mache das nicht mit Analyse-Tools à la webalizer, sondern mit dem rohen Logfile und Linux-Konsolentools:

Code: Alles auswählen

>cat transfer.log | grep Googlebot

Leider weiss ich nicht ob es (andere) Tools für diese Aufgabe gibt.

Gruß,
ein bekennender Logfile-Junkie

Beitrag von **axelm** » 31.05.2005, 16:31

https://www.robotstats.com/
ich teste das dem nächst mal. kann mich ja mal einer dran erinnern dann berichte ich mal.