Seite 1 von 1
Robots.txt Frage
Verfasst: 02.03.2007, 12:35
von Mat!
Wennic hverhindern will, dass ein,zwei Seiten indexiert werden, reicht dann folgendes aus:
User-agent: *
Disallow: /beispiel/
Oder können die Inhalte der Seite dann trotdem bei Google auftauchen?
Verfasst: 04.03.2007, 06:08
von Hasso
Nun ja, mit dieser Anweisung werden alle Dateien des Ordners /beispiel/ von der Indexierung ausgeschlossen. Kannst zusätzlich sicherheitshalber noch in den betreffenden Seiten Meta-Anweisung "noindex" einfügen. (falls mal .robots.txt überschrieben/gelöscht wird etc.)
Es ist jedoch damit zu rechnen, dass die URL´s der betreffenden Seiten des Ordners (sofern diese von irgend wo verlinkt sind) bei Google mit "site:" - Abfrage ohne Beschreibung und ohne Titel auftauchen, da muss Du Dir aber keinen Kopf machen, die "Inhalte" sind ebenfalls nicht dabei.
Gruß
Hasso
Verfasst: 04.03.2007, 11:15
von Gast
Du solltest die Verzeichnisse dann per .htaccess sperren oder - noch besser - über eine Benutzergruppenverwaltung. Nicht jeder Bot hält sich an die robots.txt
robot txt
Verfasst: 04.03.2007, 11:25
von Eisbaer27999
Hallo,
mal ne simple Frage, wie schreibe ich eine robot.txt bzw eine .htacess Datei *grübel
thx 4 help
Verfasst: 04.03.2007, 12:41
von Eisbaer27999
Verfasst: 04.03.2007, 12:51
von Mamboo
Auf der folgenden Seite findest du ausführliche robot.txt Beschreibung und robot.txt Generator
robot.txt Generator
robot.txt Leitfaden
Nach der Erstellung, kannst du es überprüfen lassen.
