Sitemaps und Google

[firstlevel]

hi in die Runde

ich habe eben die Auswertung von meinem Provider bekommen 65Gb Traffic für ein Projekt, wovon allein 3-4 GB pro Tag für Sitemaps in der Spitze raus gehen. Das waren für Juni round about ~60 GB Traffic nur durch Google.
In der aktuellen Hochrechnung schaffen wir wahrscheinlich im Juli die 90 GB.

Was mich dabei wundert ist das die sitemap.xml teilweise jede Stunde gelesen wird. Bei 47Tsd Urls auf welche die Sitemap verweist ist das natürlich eine Menge Holz.

Habt ihr auch solch Themen, Probleme, Erfahrungen ?

LG B!

[Malte Landwehr]

Hast du 47.000 URLs in einer Sitemap? Wenn ja splitte die auf und markiere in der Hauptsitemap immer nur die Untersitemaps als geändert, die auch wirklich neu geladen werden müssen. Siehe https://www.sitemaps.org/.

Und in den Google Webmaster Tools kannst du die Crawl Rate auf slow stellen.

[firstlevel]

Hi,

nein die Sitemap verweist auf 20 weitere Sitemaps mit a) weniger Inhalten b) gesplitteten Themen.

Aber danke für den Tip der Einstellung. War mir so noch nicht bekannt.

[SISTRIX]

XML-Sitemaps können mit "gz" komprimiert werden.

[Pompom]

...und nicht nur Google lädt sitemaps runter. Auf meinem Server grabschen da > 100 IPs pro Tag nach /sitemap.xml, obwohl ich keine Sitemaps habe.
(Gibt es schon Sitempa-Sammler ?)

[firstlevel]

Naja mich stört es recht wenig wenn sich Sitemaps geschnappt werden. Nur wenn das 90GB ausmacht dann ist das schon ein Thema, wenn man die Server nicht bei einem Allround-Provider stehen hat.