Ich brauche dringend Hilfe. Habe eine neue Website und die wurde auch am Anfang jeden Tag gecrawlt, jetzt aber seid dem 26.09. nicht mehr. Woran kann das liegen, bzw. wie kann ich nachschauen wann zum letzten mal der Robot anwesend war? Gibt es da ein gutes Tool für um das zu Analysieren?
Für die Vergangenheit wird es natürlich nicht helfen. Da müssstest Du Dich schon durch die Serverlogs quälen und dabei versuchen, den Googlebot zu identifizieren.
Hmm, du schreibst, dass seit dem 26.09 die Seite nicht mehr gecrawlt wurde.
Fragst auf der anderen Seite wie du herausfinden kannst, wann der Googlebot zuletzt da war.
Oder verstehe ich da nun etwas falsch? Woher weisst du denn, dass seit dem 26.09 nichts mehr geht?
Gruß
kanuddel