Robots.txt Frage

Beitrag von **Mat!** » 02.03.2007, 12:35

Wennic hverhindern will, dass ein,zwei Seiten indexiert werden, reicht dann folgendes aus:

User-agent: *
Disallow: /beispiel/

Oder können die Inhalte der Seite dann trotdem bei Google auftauchen?

von **Anzeige von ABAKUS** »

Beitrag von **Hasso** » 04.03.2007, 06:08

Nun ja, mit dieser Anweisung werden alle Dateien des Ordners /beispiel/ von der Indexierung ausgeschlossen. Kannst zusätzlich sicherheitshalber noch in den betreffenden Seiten Meta-Anweisung "noindex" einfügen. (falls mal .robots.txt überschrieben/gelöscht wird etc.)

Es ist jedoch damit zu rechnen, dass die URL´s der betreffenden Seiten des Ordners (sofern diese von irgend wo verlinkt sind) bei Google mit "site:" - Abfrage ohne Beschreibung und ohne Titel auftauchen, da muss Du Dir aber keinen Kopf machen, die "Inhalte" sind ebenfalls nicht dabei.

Gruß
Hasso

Beitrag von **Anonymous** » 04.03.2007, 11:15

Du solltest die Verzeichnisse dann per .htaccess sperren oder - noch besser - über eine Benutzergruppenverwaltung. Nicht jeder Bot hält sich an die robots.txt

Beitrag von **Eisbaer27999** » 04.03.2007, 11:25

Hallo,

mal ne simple Frage, wie schreibe ich eine robot.txt bzw eine .htacess Datei *grübel

thx 4 help

Beitrag von **Kralle** » 04.03.2007, 11:27

https://www.google.de/search?q=robots%2etxt
https://www.google.de/search?q=%2ehtaccess

Beitrag von **Eisbaer27999** » 04.03.2007, 12:41

Kralle hat geschrieben:https://www.google.de/search?q=robots%2etxt
https://www.google.de/search?q=%2ehtaccess

danke

Beitrag von **Mamboo** » 04.03.2007, 12:51

Auf der folgenden Seite findest du ausführliche robot.txt Beschreibung und robot.txt Generator

robot.txt Generator

robot.txt Leitfaden

Nach der Erstellung, kannst du es überprüfen lassen.