,ich habe eine Frage zur Arbeitsweise des Google Spiders:
wir haben gerade eine umfassende Website online gestellt (~250.000 Einzelseiten), die zur Zeit fleißig von Google gespidert wird.
Nun haben wir festgestellt, dass Google mittlerweile zwar etwa 50.000 Seiten indiziert hat, Google aber hierbei offensichtlich kurze URLs bevorzugt oder der Spider gar Probleme mit langen URLs hat??
Auf unseren Übersichtsseiten (hier wird auf die Unterseiten verlinkt - das müsste der Weg sein den Google verfolgt), stelle ich fest, dass sämtliche kurze URLs in Google indiziert wurden, alle längeren URLs jedoch (noch) nicht. Entweder der Spider bevorzugt also kurze Links, oder es gibt ein Problem mit langen Links. Vielleicht stellen aber auch unsere mod_rewriteten URLs (Sonderzeichen und Umlaute URL encodet) ein Problam dar?
Hier zwei Beispiele:
kurzer Link: https://www.google.de/search?sourceid=n ... %2Ehtml%23
langer Link: https://www.google.de/search?hl=de&rls= ... l%23&meta=
Die Frage also, ob Google ein Problem mit der Länge oder dem Aufbau unserer URLs hat oder wir einfach nur warten und dem Spider Zeit geben müssen.
In diesem Zusammenhang stellt sich auch die Frage, ob es sinnvoll wäre Google Sitemaps einzusetzen? Da wir allerdings einen erheblichen Aufwand hätten, eine Liste aller mod_rewriteten URLs zu generieren, müssen wir Nutzen und Aufwand hierbei sorgfältig abwägen. Wenn wir davon ausgehen können, dass Google unsere Seiten früher oder später selbständig indiziert, möchten wir diesen Aufwand vermeiden. Bis dato hat Google jedoch nur die obersten 2-3 Ebenen angekratzt.
Vielen Dank für eure Erfahrungen!!
Marc
