Include-Verzeichnis gesperrt - Auswirkungen für Spider?
Verfasst: 25.01.2006, 09:12
Meine index.php zieht sich Ihre Inhalte (via include()-Anweisung) aus TXT-Dateien, die ich in einem Verzeichnis (namens include) liegen habe.
In meiner robots.txt habe ich
stehen ... da ich davon ausgehe, dass die Dateien an sich ja nicht in die Suchmaschinen müssen.
Wollte jetzt nur nochmal sichergehen: Habe ich das so richtig gemacht? Sprich: Normalerweise ist das "includen" ja Aufgabe des Webservers ... und der Spider dürfte ja dann quasi das für ihn relevante "Endprodukt" (= fertig zusammengebastelte index.php) vorfinden - oder ...?
In meiner robots.txt habe ich
Code: Alles auswählen
User-agent: *
Disallow: /includes/
Wollte jetzt nur nochmal sichergehen: Habe ich das so richtig gemacht? Sprich: Normalerweise ist das "includen" ja Aufgabe des Webservers ... und der Spider dürfte ja dann quasi das für ihn relevante "Endprodukt" (= fertig zusammengebastelte index.php) vorfinden - oder ...?
