Inkrementelle Sitemap um Performance zu sparen

Beitrag von **mgutt** » 26.09.2009, 08:13

Hallo,

wir haben aktuell keine Sitemap, da wir einfach keine Möglichkeit hatten die optimal auszuliefern, ohne gleich einen cronjob aufzubauen oder den Server mit dieser "unendlichen" Schleife ins Nirvana zu jagen etc.

Nun dachte ich daran, dass es ja eigentlich sinnvoll ist, dass man die sitemap inkrementell füllt. D.h. sobald neue Inhalte hinzugefügt werden, wird die sitemap um die entsprechenden Zeilen erweitert. So bleibt sie selbst jederzeit statisch und man durchläuft keine tausende von Zeilen.

Da ich jetzt schon weiß, dass ich in mehrere Sitemaps splitten muss, habe ich ein paar Fragen:
1.) Kommt Yahoo, Bing & Google mit einer einheitlichen gesplitteten Sitemap klar? Also ist der Standard bei allen gleich?
2.) Ist das schlimm, wenn eine Split-Sitemap auf nur eine weitere Sitemap verweist? Ich will das ganze auch bei kleineren Projekten umsetzen, die aber stetig wachsen und irgendwann auch auf mehrere Sitemaps angewiesen sein werden.
3.) Ist es wichtig, in der Split-Sitemap die zuerst verlinkte Sitemap mit aktuellen Seiten zu füllen oder können die ruhig auch erst in der letzten stehen?

von **Anzeige von ABAKUS** »

Erfolgreiche und optimale Nutzung mit Magento Shopsystemen! Nutzen Sie unsere jahrelange Erfahrung mit Magento Shopsystemen und lassen Sie sich beraten!

Lesen Sie die wichtigsten Magento-Optimierungsmaßnahmen oder kontaktieren Sie uns direkt unter: 0511 / 300325-0

Beitrag von **Synonym** » 26.09.2009, 10:14

Also ich gehe mal davon aus dass Du mit der "Split-Sitemap" die "Sitemap-Index" meinst, in der dann die normalen Sitemaps drinnen stehen.

1. Ja, alle drei nutzen das https://www.sitemaps.org/protocol.php
2. Nein (aus Erfahrung, da ich genau den gleichen Sachverhalt habe)
3. Würde sagen ist egal. Bei mir sind systembedingt neue Einträge immer ganz hinter in der letzten Sitemap und hatte noch nie Probleme. Warum auch, in der Sitemap-Index wird ja per <lastmod> mit angegeben wann sich eine Sitemap geändert hat.

P.S. Zu Punkt 1. Bei Bing gehe ich einfach davon aus, da es bei MSN zuvor so war.

Beitrag von **mgutt** » 26.09.2009, 10:19

Ok super. Danke für Deine Antwort.

von **Anzeige von ABAKUS** »

Beitrag von **xAaron** » 26.09.2009, 10:21

Vorneweg: ich hab es noch nicht getestet, aber der entsprechende Wiki Artikel ist eigentlich eindeutig:
https://de.wikipedia.org/wiki/Sitemaps
Zum einen ist der Standard von allen beschlossen worden und jetzt auch nicht so kompliziert, als dass ich erwarten würde, dass sich die großen Sumas in der Behandlung unterscheiden.
Und zum anderen schreibst du dein script so, dass eine Sitemap angelegt wird, die wiederum nur auf sitemaps verweist. Musst halt einbauen, dass bei einer neu hinzukommenden Sitemap auch die Elter-Sitemap geändert werden muss.

Des Weiteren würde ich tippen, dass die jegliche sitemaps identisch behandeln und nicht irgendeine priorisieren, dafür haben sie ja keinen Anhaltspunkt, aber wie gesagt, ich hab es nicht getestet.

Edit: ok, da war ich wohl zu spät mit der Antwort.

Beitrag von **Synonym** » 26.09.2009, 10:25

Allerdings würde mich schon mal interessieren wie Du das technisch umsetzen willst.

Einfach die neuen Seiten an die Sitemap anhängen reicht ja nicht. Die Sitemap-Index gehört dann ja auch geändert.

Und was ist wenn eine URL gelöscht wurde? Wie entfernst Du die dann aus der entsprechenden Sitemap ohne die komplett neu zu erstellen (etwa per Cron)?

Beitrag von **Japs** » 26.09.2009, 10:25

....da wir einfach keine Möglichkeit hatten die optimal auszuliefern, ohne gleich einen cronjob aufzubauen oder den Server mit dieser "unendlichen" Schleife ins Nirvana zu jagen etc.

Muß es doch gar nicht :) wenn Du 1x die Woche oder alle 14 Tage automatisch eine Sitenmap ersteleln läst, dann ist das doch absolut kein Problem.

Ich lasse über Cronjob 1x in 14 Tagen über https://www.xml-sitemaps.com/standalone ... rator.html mir eine neue Sitenmap erstellen und diese wird dann gleich korrekt abgelegt - alles sehr einfach :)

Gruß Dirk

Beitrag von **Synonym** » 26.09.2009, 10:31

@Japs
Ja und Nein. Das von Dir benannte Tool geht schon, aber wenn die Domain, so wie meine, etwa 300.000 Unterseiten hat, dann geht der Server schon fast offline wenn der Spider da durch jagt.

Beitrag von **Japs** » 26.09.2009, 10:35

Synonym hat geschrieben:@Japs
Ja und Nein. Das von Dir benannte Tool geht schon, aber wenn die Domain, so wie meine, etwa 300.000 Unterseiten hat, dann geht der Server schon fast offline wenn der Spider da durch jagt.

Sorry, aber dann hoste auf einem besseren Server :)
Wenn es hier schon Probleme gibt, was machst Du dann wenn Du zb. bei einer Aktion zeitgleich 300.000 Besucher hast - sowas sollte ein Server schon verkraften können :) Gerade wenn amn so ein großes Projekt laufen hat.

Gruß Dirk

Beitrag von **xAaron** » 26.09.2009, 10:39

Synonym hat geschrieben: Einfach die neuen Seiten an die Sitemap anhängen reicht ja nicht. Die Sitemap-Index gehört dann ja auch geändert.

Und was ist wenn eine URL gelöscht wurde? Wie entfernst Du die dann aus der entsprechenden Sitemap ohne die komplett neu zu erstellen (etwa per Cron)?

Ist ja beides nur simples Textschieben. Die spannende Frage wäre aber, ob es nicht vielleicht performanter ist bei kleinen sitemap-Dateien wie der index sie einfach neu zu schreiben, als die bestehende zu öffnen, Text einzufügen oder zu ändern und wieder zu schreiben.

Eigentlich müßte google mal langsam auf den Trichter kommen, so blog-pings auch für normale webseiten anzunehmen, dann braucht man keine sitemap mehr.

Beitrag von **catcat** » 26.09.2009, 10:50

Also bei 300.000 Seiten... dann generiere die Sitemaps halt nach Kategorie/Unterkategorie.
Dann ändert sich nur in einigen Kategorie/Unterkategorie-Sitemaps etwas und der Sitemap-Index bleibt ja sowieso gleich. Ausser, Du führst ne neue Kategorie ein.

Einfach 1x am Tag prüfen: Hat sich was geändert? Wenn ja, prüfe ob Kategorie neu ist. Wenn ja, lege Kategorie-Sitemap an und ändere den Sitemap-Index.
Falls nein, lege neue Kategorie-Sitemap mit dem geänderten Einträgen an.
Geänderte Sitemaps bei google/Yahoo avisieren.

Beitrag von **chris21** » 26.09.2009, 10:56

@Japs & Catcat:

Jungs,

ihr baut Shop- und Reiseseiten.

Da herrscht nicht die permanente Veränderung, der Marc mit seinen Forenprojekten begegnen muss.

xAaron hat geschrieben: Eigentlich müßte google mal langsam auf den Trichter kommen, so blog-pings auch für normale webseiten anzunehmen, dann braucht man keine sitemap mehr.

Hm, also Du kannst doch einfach Google anpingen - wofür braucht es da einen Blog?

Beitrag von **jackwiesel** » 26.09.2009, 10:58

chris21 hat geschrieben:@Japs & Catcat:

Jungs,

ihr baut Shop- und Reiseseiten.

Da herrscht nicht die permanente Veränderung, der Marc mit seinen Forenprojekten begegnen muss.

Glaub mal, dass cc viel zu faul ist bei neuen Klamotten irgendwas an der Sitemap zu ändern...

Beitrag von **chris21** » 26.09.2009, 11:04

jackwiesel hat geschrieben: Glaub mal, dass cc viel zu faul ist bei neuen Klamotten irgendwas an der Sitemap zu ändern...

Nie was anderes vermutet

Aber trotzdem ist es etwas anderes als ein Forum, wo eine ganz andere tägliche Fluktuation herrscht. Auch die Organisation der Seiten/Unterseiten dürfte da anders sein.

Ich habe z.B. selbst über 500.000 Seiten im Index bei einem Projekt (ohne Sitemaps), aber da geht es fein säuberlich nach Kategorie - Unterkategorie - - Unterkategorie etc, d.h. nie zuviele Unterseiten auf einer Unterseite. Bei Foren hast Du in der Regel - gerade beim Umfang von Marcs Foren - eher die Struktur: Kategorie - Unterkategorie - 5000 Themen in der Unterkategorie...

Beitrag von **Synonym** » 26.09.2009, 11:08

@Japs
"wenn Du zb. bei einer Aktion zeitgleich 300.000 Besucher hast"
einen Freudensprung

Wenn das Tool bei Dir geht, dann sei doch froh. Bei mir jedenfalls nicht. Selbst das .py-Script von Google machte Probleme. Warum sollte ich denn einen Spider durch die Seite jagen der dann alle Funktionen mit startet, wenn ich die URL auch gleich in die Sitemap schreiben kann

@catcat
Warum? Bei mir geht alles. Meine Antwort bezog sich auf Japs und das genannte Tool das sie ganze Seite spidert auch wenn sich nur 2% geändert haben. Meine Sitemap ist in 40 Sekunden erstellt.

Beitrag von **catcat** » 26.09.2009, 11:09

Aso. Ja bei Foren kann ich nicht mitreden. Aber der Server sollte doch trotzdem in der Lage sein ein paar hundertausend Seiten in die Sitemap zu packen?

btw: Ich mache nur 1x ne Sitemap. Magento legt sich selbst neue Sitemaps bei Änderungen an und avisiert die auch bei google/yahoo^^ (Shop für Faule)