Faxobot respektiert nicht robots.txt
Verfasst: 09.12.2004, 00:16
Hallo zusammen,
hatte heute Besuche vom Faxobot. Obwohl er vorgab, die robots.txt zu lesen, hat er fröhlich Seiten gespidert und das obwohl er in der robots gesperrt ist:
69.155.30.206 - - [08/Dec/2004:00:33:54 +0100] "GET /robots.txt HTTP/1.0" 200 5921 "https://www.faxo.com" "Faxobot/1.0"
Kann also nur raten den Bot zu sperren per htaccess
zumal man auf der Seite von www.faxo.com auch keine weiteren Informationen über das Projekt kriegt als:
coming soon.
Gruß
fool
hatte heute Besuche vom Faxobot. Obwohl er vorgab, die robots.txt zu lesen, hat er fröhlich Seiten gespidert und das obwohl er in der robots gesperrt ist:
69.155.30.206 - - [08/Dec/2004:00:33:54 +0100] "GET /robots.txt HTTP/1.0" 200 5921 "https://www.faxo.com" "Faxobot/1.0"
Kann also nur raten den Bot zu sperren per htaccess
zumal man auf der Seite von www.faxo.com auch keine weiteren Informationen über das Projekt kriegt als:
coming soon.
Gruß
fool
