Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Format robots.txt

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
antonia
PostRank 1
PostRank 1
Beiträge: 10
Registriert: 06.08.2009, 15:53

Beitrag von antonia » 03.11.2009, 01:00

Nach Suchmaschineneintragung hat mir einer gemeldet:
The following unexpected content was also found in the robots.txt file which does not comply with the current "Robots Exclusion Standard". If directed to a specific User-Agent (search engine robot) that accepts the following directives, then you can ignore this message. Please verify the robots.txt file before submitting to search engines:

1. " Gulliver <- a new "User-Agent" directive requires an empty line above it
2. User-agent: Snap <- a new "User-Agent" directive requires an empty line above it
3. User-agent: looksmart <- a new "User-Agent" directive requires an empty line above it
.....
Das bedeutet doch, das vor jedem "User-agent: .." eine Lerzeile stehen soll?!