Ich warte nun bereits seit über 3 Wochen darauf, dass der Google-Bot mal zu einem Deep-Crawl ansetzt, zwei neue Projekte habe ich an den Start gebracht, auch bereits mehrere Links drauf gesetzt, aber irgendwie zickt der Bot rum und hat bis jetzt nur die Startseite der Projekte aufgenommen. Bei früheren Projekten waren meist alle Seiten in 3 bis 4 Tagen drin...
Macht ihr bezüglich Deep Crawl bei euren Projekten momentan ähnliche Erfahrungen? Könnte es vielleicht irgendwelche speziellen Gründe geben, warum der Deep Crawl ausbleibt?
Ja, ich kann bei zwei Projekten gerade etwas ganz ähnliches feststellen.
Der GoogleBot kommt zwar vorbei und spidert alle paar Tage immer
zwischen 100 und 300 Seiten, aber eine Listung der Seiten findet nicht statt.
Sicher das gleiche Phänomen, dass ich auch früher schon öfter hatte -
es werden erst massig Seiten gespidert, die dann nach einigen Wochen
ganz plötzlich alle gelistet sind.