Sitemap

[Itds-Online]

suche ein Programm womit ich ein bzw mehr Sitemap erstellen kann nur das Problem
Die Domain hat 7 MIO Seiten !

gibt es da was?

[JohnBi]

ja hier

https://gsitecrawler.com/de/

danach musste aber die Sitemap in mehrere aufteilen...

[MrTunes]

Auch mit ner Sitemap wird google den ganzen schrott nicht aufnehmen. Kannst mir nicht erzählen Du hast 7mio sinnvolle Seiten erstellt, die die Welt dringend braucht.
Mach ne Sitemap von den wichtigsten Seiten.

Ansonsten ist hier ne Lösung angebracht, die das aus der Datenbank generiert.

[Itds-Online]

Das Programm habe ich wusste nicht das man es aufteilen kann ! Gibt es da eine Einstellung

[Itds-Online]

7mio sinnvolle Seiten MrTunes also Spam ist es nicht wenn du das denkst

[MrTunes]

7mio seiten mit nem sitemap generator der crawlt ist käse.
guck obs was für dien cms gibt oder machs selber.
Sinnlos bleibts trotzdem.

[JohnBi]

Jo, ich sehe auch keinen Sinn darin 7 Mio. Seiten per Sitemap Google vorzusetzen.

Deswegen meinte ich ja - das aufteilen musste dann per Hand übernehmen, irgendwo habe ich mal gelesen wieviele Einträge für 1 Sitemap gut wären, ich glaube es waren 50.000 sind maximal erlaubt pro Sitemap.

Was mich interessiert ist wieviele von den 7 Mio. Seiten sind im Index?

[Itds-Online]

bei go: 2K
Bei yahoo: Pages (89,536)

[catcat]

das frisst der gsitecrawler nicht! no way! Soviel RAM hat Dein Rechner nicht. gSiteCrawler stopft erstmal alles in Deinen Arbeitsspeicher und dann - erst dann verarbeitet er es.

[JohnBi]

bei go: 2K

um nur 2k von 7 Mio gelistet zu haben, da wird dir auch keine sitemap helfen, denn irgendwas stinkt Google an deinen 7 Mio Seiten.

Da kann es einige Sachen geben, entweder reicht die Power der Domain nicht aus um 7 Mio Seiten in den Index zu befördern, oder die Seiten sind sich alle so ähnlich das Google kein Bock hat den selben Schrott Mio-mal zu listen, oder deine interne Verlinkung ist so grottig das Google das nicht umsetzen kann usw. und so fort ...

Also anstatt zu versuchen ne Sitemap in 140 Sitemaps (7 Mio : 50K = 140) aufzuteilen und diese dann hochzuladen damit Google über alle 7 Mio Seiten bescheid weiss, würde ich mich mal daran machen das Hauptproblem zu beheben.

[MrTunes]

das frisst der gsitecrawler nicht! no way! Soviel RAM hat Dein Rechner nicht. gSiteCrawler stopft erstmal alles in Deinen Arbeitsspeicher und dann - erst dann verarbeitet er es.

Also mein sitemap generator hatte mal 4mio wiki seiten indiziert. das waren 2gb im arbeitsspeicher. Allerdings inkl. Informationen die man für ne map nicht braucht. Machbar ist das schon, solange der Server 7mio Seiten hinterienander ausspuckt ohne zu mucken.
In der Zeit, die der Crawler zum Arbeiten brauhct, hat man aber mal eben 10Zeilen Skript geschrieben, der den krams aus der DB holt.

Muss aber nochmal betonen, dass ich das Vorhaben für Blödsinn halte.

[JohnBi]

Er hat den Vorteil, das er 2K Seiten nichtmehr zu crawlen braucht

[bennos]

gsitecrawler kann das schon mit 7 mio sites.

musst du den MSSQL Server nutzen als DB.

Einen Code für die Masse an URL zu schreiben wird nicht einfach, zumindest wenn alles in einer Index Sitemap stehen soll.

Ich würde das eher pro Kategorie eine Sitemap erstellen.
Nicht zu vergessen ist das es beim externen crwaling mit dem GSitecrawler auch eine erhebliche Last gibt auf dem Server. Ich würde immer auf dem Server eine SItemap aus der DB erstellen.

[Japs]

Braucht eine Webseite mit 7 Mio Unterseiten überhaupt eine Sitenmap?
Wenn die Seiten untereinander halbwegs sauber verlink sind - dann ist doch das ganze überflüssig oder ändert sich laufend soviel gravierendes, dass Google & Co es nicht von alleine findet ?

Gruß

[Michi1]

Hi,
vor kurzem hat mir jemand erzählt dass eine Sitemap max. 100 Seiten enthalten sollte, gem irgendwelcher Goo... Richtlinien?
Könnt Ihr das bestätigen?

Gruß
M