Wie finde ich die Unterseiten meiner Website heraus (urls)

[nbg12]

Guten Abend,

im Rahmen meiner SEO Maßnahmen für unseren OnlineShop möchte ich gern herausfinden wie viele AUFRUFBARE Unterseiten mein OnlineShop besitzt. Denn ich habe es mit Sistrix gecrawled und es kamen 298 Seiten heraus, dann hab ich 2 Seiten hinzugefügt und dann kamen immer noch 298 Pages und das finde ich etwas merkwürdig.

Gibt es denn kein anderes Tool für so etwas? Ich benutze nen Mac, also OnlineTool wäre am aller Besten...

Google mit "Site: DOMAIN" zu benutzen geht nicht, weil ich nen noindex, nofollow drinnen habe und das Ergebnis nichts hergibt.

Ich will nämlich möglichst immer im Bilde sein, wieviel Unterseiten ich bereits neu angelegt habe ohne immer warten zu müssen bis der Google Bot da war um dann die "Site: Domain" Funktion benutzen zu können...

Habt iHr irgendwelche Ideen?

danke vorab

[nbg12]

Ich habe jetzt zwar https://www.xml-sitemaps-generator.de/ gefunden, aber der liest mir jetzt irgendwie Tausende von URLs aus und ich weiss genau, dass ich nicht so viele Unterseiten habe, das sind irgendwie so viele Zahlen hinten dran in der URL, so als wären das auch temporäre urls mit dabei. Dabe habe ich eigentlich gerade mal rund 300 Seiten und jetzt ist er mittlerweile bei über 1200 URLs....

Hat irgendeiner eine Idee, wie ich das sauber auslesen kann?

Es geht nämlich darum, dass ich wissen will, wie viele Seiten indexiert werden können, wenn ich alles auf index und follow stehen habe...

Hat irgendeiner eine Ahnung?

[nbg12]

Hat wirklich keiner eine Idee?

[Melegrian]

Habe mal zwei Tests gemacht. Der Generator scheint sich zuweilen zu verschlucken und liest dann eine Seite mit und ohne Verzeichnis ein, so dass sich die Anzahl der Seiten erhöht.

Besorge Dir einen vernünftigen Generator, dann sollte das auch klappen. Kann Dir jetzt aber keinen Tipp geben, welcher da in Frage käme, da ich nur einen für den Eigenbedarf benutze, den ich für jede Site einzeln einrichten muss.

[nbg12]

hmm ok verstehe, trotzdem danke!

Kennt jmnd nen guten Sitemapgenerator, der Wirklich ALLE URLs und NUR die URLs die auch relevant, indexiebar sind zählt?

[Mr.Mirko]

strucr.com wäre vielleicht eine Möglichkeit allerdings hatte das Tool ein wild gewordenes CMS nicht erkannt.

Dies wurde erst durch Webmastertools entdeckt.

Gruß Mirko

[noval]

Ich nutze als Crawler oft Screaming Frog - SEO Spider. Der ist auch für Mac verfügbar und gibt dir bis 500 Seiten aus bei der Free Edition.

[luzie]

Sehr brauchbar ist auch der gute alte XENU Link Sleuth:

https://home.snafu.de/tilman/xenulink.html

YAY, Cool URLS don't change - diese gibt's jetzt seit fast 13 Jahren, erzäh'l mir einer was von Adressen-Umzug ...

[Nicos]

jup, Screaming Frog ist empfehlenswert, aber strucr.com oder onpage.org geben Dir weitaus mehr Detailinfos zu den gecrawlten Seiten....

Ansonsten gibt es für die gängigen CMS auch Sitemap-Generatoren bzw. SEF-Extensions, die ziemlich exakt sind!