Mojn,
ich grübel grad über einer robots.txt Syntax und wie diese interpretiert wird.
Normalerweise werden Verzeichnisse ja mit abschließendem Slash in der robots.tx t angegeben
Disallow: /includes/
Die Angabe von einzelnen Datei ist auch klar:
Disallow: /impressum.html
Ich meine gestern abeer gelesen zu haben, dass wenn das Slash am Ende fehlt sich das ganze so verhält:
Disallow: /includes
Sperrt alles was mit "includes" im Root beginnt, also
- includes.html
- includes-ordner
usw...
Abgesehen davon, dass es nicht dem Standard entspricht: Kann mir jemand sagen, wie sich der GoogleBot und Slurp hier verhalten?
Archiv
