Gut, daran kann es schonmal nicht liegen. Bleibt eigentlich nur die Möglichkeit, dass du die robots.txt irgendwo erwähnt hast – das ist nicht nötig, der Pfad ist festgelegt, Bots finden sie von alleine. Wird irgendwo auf die robots.txt verwiesen, kann das dazu führen, dass sie als normale Seite indiziert wird.
Das Malör sollte sich mit einem
Disallow: /robots.txt in der robots.txt ausbügeln lassen, du solltest aber trotzdem prüfen, wo die robots.txt erwähnt wurde, und die Nennung entfernen.
#suchmaschinenfreundliche URLs
RewriteRule start$ /index.html
Die Startseite start zu nennen, hat nichts mit suchmaschinenfreundlich zu tun. Ein Angebot beginnt immer im Wurzelverzeichnis /, belasse es dabei, anstatt einen Sonderweg zu fahren.
(Auf die Inhaltsverzeichnisse index.xy wird übrigens nie verwiesen, die Existenz solcher Dateien ist eine serverinterne technische Notwendigkeit, nach außen ist die dazugehörige URL der Schrägstrich am Ende des Pfades.)
RewriteRule wochenbett$ /html/wochenbett.html
RewriteRule geburt$ /html/geburt.html
RewriteRule schwangerschaft$ /html/schwangerschaft.html
RewriteRule kurse$ /html/kurse.html
RewriteRule angebot$ /html/angebot.html
RewriteRule impressum$ /html/impressum.html
RewriteRule ueber_mich$ /html/ueber_mich.html
RewriteRule kontakt$ /html/kontakt.php
RewriteRule info$ /html/info.html
Was deine normalen Seiten angeht: Wie schon angedeutet, sehe ich keinen Vorteil darin, die Dateien in einem Verzeichnis html/ zu lagern, erst recht nicht, wenn man das Verzeichnis gar nicht haben will. Du machst dir damit nur unnütze Arbeit.
Grundsätzlich und insbesondere bei deiner bestehenden Konstellation rate ich, Seiten in eigene Verzeichnisse zu legen. Du verschiebst also /html/angebot.html nach /angebot/index.html, der Aufruf erfolgt über /angebot/ (nicht /angebot/index.html, das ist unnötig), alle anderen Seiten analog.
Grundsätzlich rate ich dies, weil sich damit eine bestehende Struktur bei Bedarf ohne Änderungen um Unterseiten erweitern lässt. /angebot/ ließe sich zum Beispiel um /angebot/ostern/ erweitern – die Osterangebote sind damit logisch unterhalb des allgemeinen Angebots angeordnet.
Bei /angebot.html wäre die Erweiterung nicht so nahtlos einzufügen, die Osterangebote müssten parallel zu den Angeboten laufen oder es müsste ein neues Verzeichnis angelegt und der alte Pfad umgeleitet werden.
Zweitens lassen sich Dateien, die nur zu einer Seite gehören, Grafiken etwa, unterhalb dieser Seite speichern. billigbillig.jpg würde also unter /angebot/billigbillig.jpg lagern und ist damit eindeutig seinem Verwendungszweck zugeordnet, anstatt irgendwo in einem Sammelsurium rumzufliegen.
Deine bestehende Konstellation ist obendrein für diesen Weg prädestiniert, denn du nutzt ja bereits verzeichnisartige Pfade. Die minimale Korrektur von /angebot zu /angebot/ erledigt der Apache automatisch, du bräuchtest eigentlich nichts machen, außer einmalig die Dateien zu verschieben (nichtsdestotrotz solltest du die Verweise in deinen Seiten korrigieren).
Deine leider indizierten html-URLs wirst du los, indem du Weiterleitungen anlegst:
Redirect permanent /html/index.html /
Redirect permanent /html/wochenbett.html /wochenbett/
Redirect permanent /html/geburt.html /geburt/
Redirect permanent /html/schwangerschaft.html /schwangerschaft/
Redirect permanent /html/kurse.html /kurse/
Redirect permanent /html/angebot.html /angebot/
Redirect permanent /html/impressum.html /impressum/
Redirect permanent /html/ueber_mich.html /ueber_mich/
Redirect permanent /html/kontakt.php /kontakt/
Redirect permanent /html/info.html /info/
Eventuell findest du auch noch eine bessere Struktur, die Kontakseite und das Impressum ließen sich beispielsweise unterhalb von /ueber_mich/ ablegen als /ueber_mich/kontakt/ und /ueber_mich/impressum/
Die RewriteRule-Zeilen kannst du ersatzlos löschen (natürlich mit Ausnahme jener, die für die www-Domain zuständig ist).
#benutzerdefinierte Fehlerdokumente
ErrorDocument 401 /info
ErrorDocument 401 /info
ErrorDocument 403 /info
ErrorDocument 404 /info
ErrorDocument 500 /info
In den ErrorDocument-Zeilen solltest du nach Möglichkeit den tatsächlichen Pfad angeben; ein Umweg bringt in der Regel nichts, weil der Pfad eh serverintern bleibt und nicht nach außen gelangt.
Die Sitemap.txt habe ich mittlerweile gelöscht, da ich ja eine sitemap.xml habe.
Falls das knappe Dutzend Seiten, das in deiner .htaccess aufgeführt ist, alles sein sollte, brauchst du keine Sitemap. Suchmaschinen haben vielleicht Schwierigkeiten, tausende oder zigtausende Seiten unterhalb einer Domain zeitnah zu indizieren, aber nicht eine Handvoll. Du machst dir auch hier Arbeit, die vollkommen unnötig ist.