robots.txt validator spinnt

Beitrag von **austrian-i** » 27.07.2005, 10:48

also kann mir jemand sagen, was denn bitte an meiner robots.txt falsch ist:

User-agent&#58; * 
Disallow&#58; /admin/ 
Disallow&#58; /db/ 
Disallow&#58; /includes/ 
Disallow&#58; /language/ 
Disallow&#58; /templates/ 
Disallow&#58; /config.php 
Disallow&#58; /profile.php 
Disallow&#58; /groupcp.php 
Disallow&#58; /memberlist.php  
Disallow&#58; /modcp.php 
Disallow&#58; /posting.php 
Disallow&#58; /privmsg.php 
Disallow&#58; /faq.php
Disallow&#58; /login.php
Disallow&#58; /chat.php
Disallow&#58; /staff.php

User-agent&#58; Slurp
Crawl-delay&#58; 120

habs af https://www.searchengineworld.com/cgi-b ... tcheck.cgi validaten wollen, der bauer sagt mir nur:

Invalid fieldname:
Crawl-delay: 120

von **Anzeige von ABAKUS** »

Beitrag von **robo** » 27.07.2005, 11:00

Crwal-delay ist nicht Bestandteil des Standards!

cu, Robo

Beitrag von **austrian-i** » 27.07.2005, 11:45

aber funktionieren tuts oder???

Beitrag von **robo** » 28.07.2005, 10:58

Da musst du schon bei Slurp nachsehen, ob der das unterstützt.

cu, Robo