XML Sitemap Generator für Webseiten mit 7 Millionen Seiten?

Beitrag von **Tangulas** » 30.04.2009, 15:52

Wer kann mir ein XML Sitemap Generator für eine Webseiten mit 7 Millionen Seiten empfehlen?
Gut wäre die Möglichkeit Filter zu setzen, um überflüssige Parameter in der URL zu vermeiden!

Vielen Dank

Grüsse Sascha

von **Anzeige von ABAKUS** »

Beitrag von **MrTunes** » 30.04.2009, 15:55

Zu empfehlen ist da nur ein Generator für dein cms, der die map aus der db generiert.
Die 7mio Seiten zu crawlen ist Schwachsinn. Soweiso finde ich eine 7mio Seiten Sitemap schwachsinn.

Beitrag von **Kristian** » 30.04.2009, 16:03

Hallo Sascha,

erstmal willkommen im Forum.
Wenn ich mich recht entsinne sind pro Datei max. 50.000 Urls erlaubt.
Diese diversen Dateien will man dann in eine Haupt-Verteiler-Datei eintragen, sollte für 7 Mios passen.
Die Frage ist, wie man die 7 Mio Seiten erfassen will.
Setz mal nen Bot dran und lass es einlesen. Bei einer Wartezeit von 5 Sekunden zwischen den Requests kommt man auf etwa 405 Tage, wenn ich mich nicht verrechnet habe.
Google wird für das Abarbeiten etwas länger brauchen.

Sag uns mal die Url auf der wir die Seiten kurz einsehen können, dann kann man dir zu den Filtern mehr sagen,

Gruß
Kristian

von **Anzeige von ABAKUS** »

Beitrag von **w3news** » 30.04.2009, 18:16

google begrenzt die anzahl von sich aus schon auf 1000 sitemaps je 1000 urls...

Beitrag von **Kristian** » 30.04.2009, 19:32

Hallo
Wo genau kann ich diese Info nachlesen?
Gruß
Kristian

Beitrag von **JohnBi** » 30.04.2009, 19:36

hier

Jede Textdatei kann maximal 50.000 URLs umfassen. Wenn Ihre Website mehr als 50.000 URLs umfasst, können Sie die Liste in mehrere Textdateien aufteilen und diese einzeln hinzufügen.

Quelle: https://www.google.de/support/webmaster ... opic=13452

Beitrag von **dremer** » 24.06.2009, 16:56

Hallo,

sehr interesante Diskusion.
Würde es denn funktionieren wenn man eine bis an die Grenze von 50.000 urls ausgereizte xml.sitemap bei google anmeldet...? Würden alle 50.000 seiten im index landen?

gruss

Beitrag von **JohnBi** » 24.06.2009, 17:05

Nein, würden die Seiten nicht, denn eine xml-sitemap ist keine Garantie das alle Seiten die sich in der xml-sitemap befinden auch in den Index kommen, das wäre ja ein leichtes Spiel für Spammer so Millionen von Seiten in den Index zu pumpen, einfach mehrere xml-sitemap anlegen und gut ist ...

Aus deinen Fragen lese ich nur heraus, das da jemand versucht den Index vollzumüllen und nurnoch nach dem richtigen Weg sucht, der Entschluß ist schon gefasst.

Beitrag von **dremer** » 24.06.2009, 17:15

Oh,Mann!

Da hat aber einer schlechte Erfahrungen gemacht. Habe NICHT vor den Index "vollzumüllen".
Nur weil Du den Grund warum jemand etwas wissen möchte nicht verstehst musst DU hier nicht direkt so rum zicken...