ich bin auf der Suche nach einer Möglichkeit eine Domain zu "crawlen" um im Ergebnis eine "Tabelle" CSV Datei oder ähnlich zu haben mit der Ansicht von:
Der jeweiligen Urls - dem dazugehörigen Titel, Description sowie evtl. noch den Keywords...
Der Umfang der Seiten liegt zwischen 50 und 500 Seiten je nach Domain.
Gibt es Tools mit deren Hilfe Ihr an so eine "einfache" Tabelle komme?
Wie geht Ihr vor um euch erst einmal einen Überblick zu verschaffen?