Bislang hatte Google bei mir am Tag bis zu 5.000 Seiten gespidert. Heute bislang nicht einmal 100. Im Gegensatz zu yahoo die gleich im ganzen Rudeln auf meiner Seite hängen.
Die Frage ist nur ob es sich um ein zeitlich begrenztes Problem handelt oder ob in Zukunft der Googlebot einfach nicht mehr so oft krabbelt wie bisher.
Gleichzeitig habe ich festgestellt das die site-Abfrage auf Google ein Problemchen hat. Geben ich meine Url ein zeigt es nur ein paar Seiten an. Gebe ich jedeoch ein Unterverzeichnis an sind es mehrere Tausend Seiten.
Dies habe ich auch bei ein paar anderen sehr bekannten Seiten festgestellt.