ich habe derzeit vermehrt zugriffe mit dem useragent "user".
Dieser folgt auch durch robots.txt gesperrte seiten, weshalb ich ihn nun gerne sperren würde.
-weiss jemand, wer diesen useragenten nutzt? ist das evtl. irgendwo eine standardeinstellung?
-habt ihr auch probleme mit diesem useragent?
-wie sperre ich diesen per htaccess?
Dieser folgt auch durch robots.txt gesperrte seiten
wenn ein echter Besucher mit einem Browser deine Webseite aufruft, dann ist die robots.txt irrelevant. Da diese nur für robots ist. Schon mal darüber nachgedacht.
ja, aber das ist ein bot. habe von dem teilweise bis zu 200 anfragen / minute. gibt es denn irgendwo einen sinnvollen browser, der als useragent standardmässig "user" drin hat?