Google Sitemap <-> Mozilla Bot

[Armi]

Hallo,

bei meiner Seite (großes Portal) liest Google die Sitemaps ausschließlich, und das seit Wochen, mit dem Mozilla-Bot ein und indiziert diese URLs auch nur mit diesem Bot.

Der Mozilla-Bot bringt ja keine Seiten in den Index.

Macht hier jemand eine ähnliche Beobachtung?

An was könnte das liegen? Sollt ich die Sitemaps eher wieder rausnehmen?

Armi

[Armi]

Nachtrag:

Also https://www.XY-URL.de/sitemap.xml wird z.B. nur vom Mozilla-Bot aufgerufen.

Und noch ne Frage: Packt Ihr die Sitemaps (per gzip) oder nicht?

[ovnn]

ich packe die nicht
im moment generiert sie sich beim aufruf

sollte die aber mal zu groß werden werd ich sie nachts per cron generieren lassen und dann wohl auch zippen

[axelm]

ich denke mal wenn die beta von Sitemaps abgeschlossen ist wird die Map auch vom normalen Bot abgeholt bzw. irgendein Bot bringt die Inahlte in die Serps.

[Armi]

@axelm

Also ist bei Dir auch nur der Mozilla-Bot aktiv?

Wie sieht es bei den anderen aus?

[axelm]

nee beide. Die Seite ist aber alt und groß und bekommt jede Woche neue Backlinks deshalb wundert mich das nicht.

[Fox Mulder]

Also, bei mir geht mit Google Sitemaps gar nichts.

Normalerweise habe ich neue Unterseiten, die von der Startseite verlinkt sind, innerhalb 24h bis 48h im Index.
Jetzt warte ich seit 6 Tagen darauf das Google neue Unterseiten, die in der Sitemap stehen und von der Startseite verlinkt sind, indiziert.
Die Sitemap wird vom Mozilla Bot alle 12h geholt - nutzen allerdings bisher gleich null - irgendwie entäuschend.

Gruss

[axelm]

Die testen noch, die müssen sich ja erstmal was gegen Spam einfallen lassen. Wäre je zu einfach wenn man an einem Tag 100.000 in den Index bringen könnte.

[Armi]

Also, bei mir geht mit Google Sitemaps gar nichts.

Normalerweise habe ich neue Unterseiten, die von der Startseite verlinkt sind, innerhalb 24h bis 48h im Index.
Jetzt warte ich seit 6 Tagen darauf das Google neue Unterseiten, die in der Sitemap stehen und von der Startseite verlinkt sind, indiziert.
Die Sitemap wird vom Mozilla Bot alle 12h geholt - nutzen allerdings bisher gleich null - irgendwie entäuschend.

Gruss

Ist der normale Bot bei Dir parallel inaktiv geworden?

Verlierst Du evtl. auch Seiten?

[Fox Mulder]

Ist der normale Bot bei Dir parallel inaktiv geworden?

Seiten die schon im Index waren werden weiter vom normalen Bot gespidert und tagesaktuell indiziert.
Aber neue Seiten kommen momentan nicht in den Index, wobei ich alle meine neuen Seiten auch in die Sitemap.xml eingetragen habe.
Also ich warte mal noch bis Ende der Woche, ansonsten fliegt Google Sitemaps bei mir wieder raus.


Gruss

[bull]

@Fox Mulder
Sehe ich ähnlich. Gestern war aber der Mozilla Googlebot da und hat 500 nichtexistierende Seiten holen wollen. Die waren in einer fehlerhaften, durch ein unsauber (selbst)programmiertes Werkzeug generierten Sitemap enthalten, welche ich vor mehreren Wochen hochgeladen, aber bald darauf wieder korrigiert hatte.
Zum schnelleren Indizieren neuer Seiten ist die Google-Sitemap ungeeignet.

[irsic]

Ich habe ähnliche Erfahrungen mit der sitemap von google gemacht.

Zwar wurden bei mir alle Seiten nach 3 Tagen in den Index aufgenommen (sind zwar nur rund 200) aber trotz mehrmaligen Aktualisierungen der sitemap werden die Änderungen an den Seiten nicht mehr von Google erkannt.

Vorher hat mich der Bot alle 24h besucht und nächsten Tag konnte ich die Ergebnisse sofort feststellen. Als Konsequenz habe ich nun die Sitemap wieder entfernt