Nerd-Frage: Wann war der G-Bot zum letzten mal da?

[Ralph Höfting]

Ich brauche dringend Hilfe. Habe eine neue Website und die wurde auch am Anfang jeden Tag gecrawlt, jetzt aber seid dem 26.09. nicht mehr. Woran kann das liegen, bzw. wie kann ich nachschauen wann zum letzten mal der Robot anwesend war? Gibt es da ein gutes Tool für um das zu Analysieren?

Danke euch!

[chris21]

Für die Zukunft: Crawlertrack.

Für die Vergangenheit wird es natürlich nicht helfen. Da müssstest Du Dich schon durch die Serverlogs quälen und dabei versuchen, den Googlebot zu identifizieren.

[Ralph Höfting]

Danke für deine Hilfe!

[kanuddel]

Hmm, du schreibst, dass seit dem 26.09 die Seite nicht mehr gecrawlt wurde.
Fragst auf der anderen Seite wie du herausfinden kannst, wann der Googlebot zuletzt da war.
Oder verstehe ich da nun etwas falsch? Woher weisst du denn, dass seit dem 26.09 nichts mehr geht?
Gruß
kanuddel

[Ralph Höfting]

Ich meinte, das ich wissen wollte wie häufig er vorher genau da war. Aber hat sich alles schon geklärt, auch der Grund warum es so lange her ist.

[Nicos]

mehr und bessere Links = höhere Crawlingfrequenz

[Rem]

mehr und bessere Links UND mehr Updates = höhere Crawlingfrequenz