Google indiziert nur noch im Schneckentempo :-(

[Stefan26]

Ich habe bei meinem phpBB3.0.7-Forum (~30.000 bereits indizierte Seiten in Google) mittels Mod die dynamischen URLs in statische mit keywords umgewandelt. Alle bereits indizierten Links in Google werden via 301 redirect auf die neuen URLs umgeleitet.

Soweit so gut. Neben anderen Spiders ist der Google-Bot Dauergast in meinem Forum und hat am 1. Tag der Umstellung auch gleich hunderte "neue" Seiten indiziert, doch inzwischen ist dieser Wert drastisch gesunken. Wenn ich mittels site:meinforum.tld nachschaue und "innerhalb der letzten 24 Stunden" auswähle, komme ich gerade mal auf ein dutzend indizierter Seiten.

Ich bin zwar ein SEO-Newbie, aber vermute einfach mal das ist ein sehr schlechtes Zeichen. Woran könnte das liegen? Der Google-Bot ist quasi permanent anwesend (meist bei der Forenübersicht). Als Gast und registrierter User kann man das Forum mit den neuen URLs problemlos nutzen. Soll ich das URL-rewriting lieber wieder deaktiverien?

Vielen Dank im voraus!

[mojo]

Soweit ich mich entsinne, bekommst du mit deiner Abfrage die neuindizierten Seiten der letzten 24h und nicht alle gecrawlten Seiten. Um eine bessere Uebersicht ueber das Crawlverhalten von Google Bot zu erhalten wuerde ich dir waermstens empfehlen deine Seite mit Google Webmaster Tools zu verifizieren und dort unter "Crawl Stats" nachzusehen wieviele Seiten wirklich gecrawlt werden. (oder wenn du Technik affiner bist, kannst auch die access logs auf deinem Server analysieren)

[Stefan26]

Vielen Dank schon mal für den Tipp! Ich hab mich jetzt registriert und sehe via Webmaster Tools unter "Diagnose" -> "Crawling-Statistiken" die Googlebot-Aktivitäten der letzten 90 Tage. Allerdings kann ich an Hand des Graphen nicht eruieren wieviele Seiten an einem bestimmten Tag gecrawlt wurden. Unter "Crawling-Fehler" werden nur die durch die robots.txt absichtlich blockierten Sites gelistet.

Ich habe leider keinen dedizierten Server, sondern verwende Shared Hosting. Kann man da auch an diese log-files gelangen?

[mojo]

Falls du der Ansicht bist, dass Google zu langsam crawlt, dann kannst du in den Webmaster Tools eine manuelle Crawlrate einstellen - allerdings ist Google in den meisten Faellen ziemlich gut im festlegen einer Crawlrate und passt sich recht gut an den Server an. Ist deine Seite vielleicht zu langsam und Google bremst um deinen Server nicht zu ueberlasten?