Hallo zusammen,
dass der Inktomi -Slurp-Bot nicht alle Tassen im Schrank hat,
weiß ich ja - aber was macht er jetzt
68.142.250.80 - - [01/Feb/2005:05:14:21 +0100] "GET /system-cgi/count/count.php?id=2&x=60&y=20&size=15&bg=black&fg=%23ff0000&lenght=5&transbg=false HTTP/1.0" 200 344 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)"
Seit wann richtet er sich nicht mehr nach den Angaben in der robots.txt?
Hat er vorher abgefragt. System-cgi sind disallow und was will er mit meinem
Counter?
Hat sonst noch jemand sowas beobachtet?
Gruß
fool
Archiv