Faxobot respektiert nicht robots.txt

Beitrag von **fool** » 09.12.2004, 00:16

Hallo zusammen,
hatte heute Besuche vom Faxobot. Obwohl er vorgab, die robots.txt zu lesen, hat er fröhlich Seiten gespidert und das obwohl er in der robots gesperrt ist:

69.155.30.206 - - [08/Dec/2004:00:33:54 +0100] "GET /robots.txt HTTP/1.0" 200 5921 "https://www.faxo.com" "Faxobot/1.0"

Kann also nur raten den Bot zu sperren per htaccess
zumal man auf der Seite von www.faxo.com auch keine weiteren Informationen über das Projekt kriegt als:

coming soon.

Gruß
fool

von **Anzeige von ABAKUS** »

Beitrag von **visions4** » 09.12.2004, 12:20

sehr viele bots beachten die robots.txt nicht!

wie du schon erkannt hast heißt das rezept - htaccess!

Beitrag von **fool** » 09.12.2004, 13:46

aber die meisten davon, rufen die robots.txt auch erst gar nicht auf.
Faxobot ruft sie auf und schert sich dann doch einen Dreck drum.
Das ist hier der Unterschied.

Google z.B. richtet sich auch dannach.

Gruß
fool