ABAKUS

Der Suchmaschinen-Spider sieht genau wie der Besucher ja auch nur den HTML-Code, der auf dem Server aus ein bisschen Code (PHP oder so) und den passenden Datenbankabfragen zusammengestrickt wird.

Du hast ja die URLs, die ggf. auch aus Keywords erstellt werden, in dieser Form irgendwo auf Deiner Seite verlinkt. Und genau da gehen die Spider dann drüber und hangeln sich genauso weiter wie ein menschlicher Besucher.
Es ist ja nicht so, dass der Spider sich irgendwie in Deinen Webspace reinhackt und sieht: "Oh, da ist 'ne Datenbank! Und da liegen "physikalisch" (okok, ist alles nur virtuell) die und die Verzeichnisse oder eben nicht."

Es ist jedenfalls kein Unterschied für das Crawling-Verhalten, ob du all die Verzeichnisse tatsächlich angelegt und darin statische .html-Dateien hast oder ob all dies aus der Datenbank erzeugt wird.
Der Bot sieht einen Link, wertet ggf. Keys im URL aus, folgt diesem Link und wertet dann alles aus, was ihm vom Server geschickt wird, und das ist die fertig zusammengesetzte Seite im HTML-Format. Das ist für ihn genau wie eine statische HTML-Seite.

Und ja, die Keywords in den Meta-Tags, deren Wirkung heute ohnehin zumindest bei Google kaum noch vorhanden ist, bitte immer für jede Seite einzeln abstimmen, auch wenn das ein Haufen Arbeit ist - notfalls besser weglassen als überall die selben drin! Richtwert so ca. 5 Keywords, die auf der Unterseite auch vorkommen und relevant sind.

Vielen Dank für deine Antwort und für deine Mühe

Wenn man erst anfängt sich mit der Materie zu befassen ist das sehr schwer zu verstehen.
Aber bis hierher kann ich mir das etwas vorstellen.

Nochmal zu den erstellten Links. Findet ein Crawler eigentlich auch Links, die ein User z.B. erst beim Anmelden in seinem Benutzermenü sieht? Es werden ja viel wictige Seiteninhalte erst beim Einloggen der User sichtbar gemacht. Kann ein Crwaler sich auch dort durchhangeln, obwohl er ja eigentlich kein "registriertes Mitglied" der Seite ist?

Kann ich mir z.B. mit Artio joomSEF eine eigene URL erstellen, wenn der nichtoptimierte URL original war?
Genauer: Kann ich mir demnach dann irgendeine Url basteln, die so aussehen könnte: , obwohl es die Verzeichnisse /schreinerei/holzsorte/ garnicht gibt? Bleibt mir die Erstellung fiktiver Verzeichnisse frei oder MÜSSEN diese beiden /schreinerei/holzsorte/ in meiner selbsterstellten URL bestehen bleiben?

Ist es dem Crawler egal wo was in welchem Verzeichnis steht, da er ja nur den HTML-Code sieht?

Viele Grüße
Tombone