...Ich schätze die Suchmachine such im root Verzeichnis und dann in einem Order "1" nach einer Seite Dienstleistung-Wäschewaschen.htm. Lieg ich da richtig?
Verfolgt eine Suchmachine nur Links oder auch Ordnerstrukturen?
Ich bin gerade etwas verwirrt und hoffe ich konnte mein Anliegen formulieren. Ich steh aber echt gerade auf dem Schlauch.
Ein Blick in deine Logfiles würde die Frage beantworten.
Wenn nen Bott Ordnerstrukturen verfolgen würde, dann müsste er (da er ja nicht hellsehen kann) jede mögliche Zahlen/Buchstabenkombination antesten. Da würden in deinen Logfiles ne gabze Menge 404er stehen....
...nicht zu vergessen, das viele Projekte ja gar keine Orner mehr haben, sondern dynamisch aus einer DB generiert werden....da dürfte dann ja nix in den Index...