korrekte Syntax für robots.txt
Verfasst: 03.03.2008, 23:00
Mojn,
ich grübel grad über einer robots.txt Syntax und wie diese interpretiert wird.
Normalerweise werden Verzeichnisse ja mit abschließendem Slash in der robots.tx t angegeben
Disallow: /includes/
Die Angabe von einzelnen Datei ist auch klar:
Disallow: /impressum.html
Ich meine gestern abeer gelesen zu haben, dass wenn das Slash am Ende fehlt sich das ganze so verhält:
Disallow: /includes
Sperrt alles was mit "includes" im Root beginnt, also
- includes.html
- includes-ordner
usw...
Abgesehen davon, dass es nicht dem Standard entspricht: Kann mir jemand sagen, wie sich der GoogleBot und Slurp hier verhalten?
ich grübel grad über einer robots.txt Syntax und wie diese interpretiert wird.
Normalerweise werden Verzeichnisse ja mit abschließendem Slash in der robots.tx t angegeben
Disallow: /includes/
Die Angabe von einzelnen Datei ist auch klar:
Disallow: /impressum.html
Ich meine gestern abeer gelesen zu haben, dass wenn das Slash am Ende fehlt sich das ganze so verhält:
Disallow: /includes
Sperrt alles was mit "includes" im Root beginnt, also
- includes.html
- includes-ordner
usw...
Abgesehen davon, dass es nicht dem Standard entspricht: Kann mir jemand sagen, wie sich der GoogleBot und Slurp hier verhalten?
