Include-Verzeichnis gesperrt - Auswirkungen für Spider?

[s97446]

Meine index.php zieht sich Ihre Inhalte (via include()-Anweisung) aus TXT-Dateien, die ich in einem Verzeichnis (namens include) liegen habe.

In meiner robots.txt habe ich

Code: Alles auswählen

User-agent: *
Disallow: /includes/

stehen ... da ich davon ausgehe, dass die Dateien an sich ja nicht in die Suchmaschinen müssen.

Wollte jetzt nur nochmal sichergehen: Habe ich das so richtig gemacht? Sprich: Normalerweise ist das "includen" ja Aufgabe des Webservers ... und der Spider dürfte ja dann quasi das für ihn relevante "Endprodukt" (= fertig zusammengebastelte index.php) vorfinden - oder ...?

[bull]

Habe ich das so richtig gemacht?

Ja

[ole1210]

Dazu habe ich auch mal ne Frage:

Habe eine Domain deren Seiten so aufgebaut sind:
www.*domain*.de/index.php?content=seite.endung

Alle Suchmaschinen Spidern das korrekt. Ausser MSN, die Spidern einmal
www.*domain*.de/index.php?content=seite.endung und zusätzlich noch
www.*domain*.de/seite.endung

Es verweist kein Links auf die Datei seite.endung. Habe aber durch dieses Vorgehen von MSN alles Seiten ohne richtigen Code im Index.

Habt Ihr nen Tip, wie ich das unterbindne kann?

Viele Grüße

Ole