Dateien bei Google ausschließen

Beitrag von **ehrlacher** » 01.10.2005, 14:16

Hallo,
kein Tag ohne neues Sub-Problem..
Habe jetzt die Seiten soweit optimiert, dass Google weitgehend nur noch das im Index hat, was es soll ...:
ABER:
Ich habe in einem Verzeichnis .txt-Dateien, die nur dazu da sind, in einer .php eingelesen zu werden. Seit gestern nimmt Google die in den Index auf - wie kann ich das verhindern?

Das Problem ensteht übrigens, weil mein Provider so "nett" ist und bei Aufruf einer nicht (mehr) existierenden Seite "fruehere_seite.htm" darauf hinweist ("multiple choices") es gäbe ja die ähnlich lautende Adresse "fruehere_seite.txt". Da Google die "fruehere_seite.htm" im Index hat-te, ruft er sie auf und plackt nun die "fruehere_seite.txt" zusätzlich rein. Schöner wäre natürlich, Google bekäme statt den "Multiple choices" nen "sauberen" 404er. Hat einer eine Idee, wie das gehen könnte ...?
Danke
Frank

von **Anzeige von ABAKUS** »

Beitrag von **ehrlacher** » 01.10.2005, 14:41

... um vielleicht schon eine Idee zu haben ...:
Die "zu sperrenden" *.txt Dateien liegen im Verzeichnis unterverzeichnis/unter1 ... unterverzeichnis/unter2 ...

Kann ich in der robots.txt einfach diese Verzeichnisse ausschließen?
Wenn der Bot dann die zugehörige .php einliest, die die betreffende .txt per fopen() öffnet - funktioniert das dann trotzdem, oder erkennt der Server dann, dass die ja in einem "für Robots gesperrten" Verzeichnis liest.

Und: Registriert der googlebot Änderungen an der robots.txt "sofort" (also beim nächsten Crawlen)?

Beitrag von **luigip** » 01.10.2005, 18:52

ehrlacher schrieb:

Das Problem ensteht übrigens, weil mein Provider so "nett" ist ...

Schuld bist du selbst, wenn du entweder "multiple choices" nicht abschaltest oder bei aktivierten "multiple choices" deine txt-Dateien nicht anders benennst oder in ein anderes Verzeichnis legst!

Abschalten von "multiple choices" geht mit "Options -MultiViews" in der .htaccess.

Beitrag von **ehrlacher** » 01.10.2005, 19:13

@luigip
Danke, aber hatte ich probiert - sonst jungfräuliche .htaccess nur mit der Zeile Options -MultiViews ins betroffene Verzeichnis ... schaltet das aber nicht ab ... (Apache/1.3.33 (Unix))
Übersehe ich etwas?