ABAKUS

Hat uns heute zum ersten Mal einen Besuch abgestattet, s.a. https://www.nokodo.com/bot.html

Was ist davon zu halten?

Gruesse
Johannes

War die IP aus 67.18.222.* ?
Ansonsten habe ich persönlich für Roboter, die ausdrücklich keine robots.txt beachten und sogenannte Suchmaschinen ohne Sucheingabefeld nicht besonders viel übrig. Danke für den Hinweis, kommt auf meine schwarze Liste.

Many webmasters (ab)use the robots.txt file to direct search engines to "optimized pages" in order to get "better results"

Ich wußte nicht, daß ich mit robots.txt irgendwas umleiten kann?