Warum kein update?

Beitrag von **hunny** » 10.10.2003, 15:46

Hallo Leute,
ich verstehe das alles nicht mehr!Ich habe mein Forum auf HTML nun endlich umgestellt und seit dem wird mein Forum nicht mehr "gegoogelt"!
Ich habe im Hauptverzeichnis die datei robots.txt mit folgendem Inhalt hinterlegt

User-agent: *
Disallow:

muß eine solche Datei auch ins php Verzeichnis?

Was kann es für gründe dafür geben?Was kann ich selber noch machen?
Grüße hunny

von **Anzeige von ABAKUS** »

Beitrag von **Webby** » 10.10.2003, 16:51

Ist das alles was du in dein robots.txt hast?

Also * = alle spidern und disallow heist "nicht erlaubt".

Giubt es vestimmte verzeichnissen oder dateien nach der disallow?
falls nichts, weg damit!

Beitrag von **hunny** » 10.10.2003, 16:56

Danke für die Antwort!
Aber diesen Code hat mir txt.Generator gegeben

Braucht man den Robots.txt eigendlich überhaupt?Ich habe gehört der währe gar nicht mehr nötig.
Ich dachte Disallow würde erst interessant wenn da noch etwa hinter stehen würde??
Grüße hunny

Beitrag von **Webby** » 10.10.2003, 17:02

Genau so ist es. Nutzen die nur um bestimmte robots wie email harvestor oder falls du bestimmte verzechinissen (cgi-bin/images) oder dateien von indizieren sperren willst. Sonnst brauchst du keine. Ich wurde in deine stelle einfach folgende robots.txt nutzen...
https://www.abakus-internet-marketing.d ... ispiel.txt

Alan

Beitrag von **hunny** » 10.10.2003, 17:03

So habe ich das gemacht:

Sie haben drei Möglichkeiten, wie Sie Ihre robots.txt gestalten. Entweder, Sie sperren alle Spider aus, Sie laden alle Spider ein oder Sie formulieren für bestimmte Verzeichnisse und/oder Dateien verschiedene Eigenschaften.

Alle Spider dürfen alle Verzeichnisse und Dateien spidern.
Allen Spidern wird untersagt, Dateien und Verzeichnisse zu spidern.
Für Spider, Verzeichnisse und/oder Dateien werden verschiedene Kriterien festgelegt

Da habe ich das erste ausgwählt.

Das kam dabei herraus:

Sie haben Sich entschlossen, allen Spider zu erlauben, alle Verzeichnisse und Dateien zu indexieren.

Bitte kopieren Sie folgenden Code in eine leere Textdatei und speichern diese dann als robots.txt ab. Achten Sie dabei auf Groß- und Kleinschreibung, es müssen alle Buchstaben klein geschrieben werden. Die Datei müssen Sie dann ins Stammverzeichnis Ihrer Domain legen, pro Domain ist nur eine robots.txt zulässig

User-agent: *
Disallow:

Beitrag von **bruko** » 11.10.2003, 20:17

hi hunny,
um es noch mal klar zu sagen mit SelfHtml:
"Disallow:
Durch eine fehlende Angabe hinter Disallow: wird alles erlaubt!"
Also derselbe Effekt als hättest du keine robots.txt
Ich beobachte auch immer wieder robots, die sich an Vorgaben in der robots.txt sowieso nicht halten.
bruko