Seite 1 von 1
Format robots.txt
Verfasst: 03.11.2009, 01:00
von antonia
Nach Suchmaschineneintragung hat mir einer gemeldet:
The following unexpected content was also found in the robots.txt file which does not comply with the current "Robots Exclusion Standard". If directed to a specific User-Agent (search engine robot) that accepts the following directives, then you can ignore this message. Please verify the robots.txt file before submitting to search engines:
1. " Gulliver <- a new "User-Agent" directive requires an empty line above it
2. User-agent: Snap <- a new "User-Agent" directive requires an empty line above it
3. User-agent: looksmart <- a new "User-Agent" directive requires an empty line above it
.....
Das bedeutet doch, das vor jedem "User-agent: .." eine Lerzeile stehen soll?!
Verfasst: 03.11.2009, 01:34
von xlb
Hallo.
Für's Format des "Standard for Robot Exclusion" gilt u. a. folgendes ...
The file consists of one or more records separated by one or more blank lines (terminated by CR,CR/NL, or NL)
Wäre hier komplett nachzulesen.
Re: Format robots.txt
Verfasst: 03.11.2009, 09:59
von Mork vom Ork
antonia hat geschrieben:1. " Gulliver <- a new "User-Agent" directive requires an empty line above it
Das bedeutet doch, das vor jedem "User-agent: .." eine Lerzeile stehen soll?!
Nein, da hat jemand die Vorgaben nicht richtig gelesen, die
Gruppen sollen mit mindestens einer Leerzeile getrennt werden: „The file consists of one or more
records separated by one or more blank lines“ (wie oben schon zu lesen).
In einer Gruppe darfst du so viele User-agent-Zeilen haben, wie du möchtest, ohne Leerzeilen dazwischen: „The record starts with
one or more User-agent lines, followed by one or more Disallow lines“.
