Bisher habe ich immer ohne eine Sitemap gearbeitet und eigentlich wurden meine Seiten durchaus gut von google gefunden. Bloss in tieferen Unterordnern gibt es noch das eine oder andere Problem, dass Google diese Seiten nicht indizieren will.
Nun habe ich mich daher mal mit den sitemaps ein bisschen beschäftigt und bin in der google-Anleitung so schlau geworden, dass ich nun weiß, wie ich zumindest eine einfache sitemap als txt-Datei erstellen kann.
Nun besteht mein Hauptproblem darin, dass meine Homepage aus gut 100.000 einzelnen Seiten besteht. Was muss nun alles in die sitemap ? Jede einzelne url ? Wenn ja, wie kann ich es schaffen, dass ich alle Urls automatisch in diese Sitemap bekomme, ohne dass ich alles manuell eingeben muss.
Bringt es was, wenn ich nur für die tieferen Unterordner, welche bisher nicht indiziert wurden, sitemaps erstelle, damit google auch von deren Existenz etwas erfährt ?
Ist es schädlich, wenn nicht alle Urls einer Domain in einer Sitemap sind (d. h. findet google dann immer noch den Rest ) ?
leg dir ein sitemap-system (thematisch, alphabetisch, chronologisch, die neuesten beiträge usw. - was sich bei dir anbietet...) an, da du mit einer sitemap bei der anzahl deiner seiten nicht weit kommen wirst (dateigröße und anzahl der links pro seite) ... und ja, es hilft - es "verkürzt die wege" und macht die site somit more crawlable...
Wie funktioniert denn dieses Phyton-Script, sprich was muss ich genau machen ? Das klang so kompliziert als ich es auch der Google Seite las. Zur Information: