Durch robots.txt schneller mehr Seiten im Index?

[eanst]

hallo forum,

der googlebot kommt regelmäßig unsere seite zu indizieren.

nun hat er aber in gut einem jahr knapp 8.000 seiten im index.

wenn ich nun eine robot.txt anlege und die unwichtigen seiten unserer plattform eintrage, erreiche ich dann das der googlebot schneller die wichtigsten seiten indiziert?

also kurz gesagt:
ich sgae dem bot wo er nicht hin soll und dafür geht er dann schneller zu den wichtigen seiten...

vielen dank für eure hilfe!

[e-fee]

Mach lieber 'ne sitemap.xml und gib die in den Webmastertools Google zu futtern!

[eanst]

danke für deine antwort.

die sitemap habe ich schon vor langem eingereicht.

problem mit der sitemap ist, dass da 40.000 links dirn sind. die eingereichte sitemap ist aber nicht mehr richtig aktuell, da es schon längst einige neue seiten gibt.

am liebsten würde ich die sitemap wieder löschen, da wie gesagt auch alte links drin sind...

[dadawowo]

Na dann reiche doch einfach eine aktuelle ein?

Es gibt hier Leute die reichen täglich eine neue Sitemap ein.

[eanst]

mit welchem tool kann man denn eine sitemap generieren lassen die mehr als 40.000 links enthält?

[dadawowo]

Ich verwende den gsitecrawler und kann mich nicht beschweren. Ob er 40.000
schafft liegt aber auch an der internen Verlinkung.

https://gsitecrawler.com/de/download/

Bei solchen Indexierungsproblemen solltest Du dir Deine interne Verlinkung nochmal
ansehen und auch zumindest an wichtigen Knotenpunkten Deeplinks von extern setzen.

Interessant sollten auch verschiedene Sitemaps sein(zum Beispiel für einzelne Bereiche
der Seite) an wichtigen Knotenpunkten, die Du dann von aussen anlinkst.

Dann verliert auch die Sitemap bei g00gle ihre Wichtigkeit.