Hallo
Seit einigen Wochen beaobachte ich den Bot sv-crawl.looksmart.com. Der Bot ist täglich auf meiner Seite und liest alle Seiten ein.
Hat der Bot überhaupt einen Nutzen?
Bei 1800 Seiten erzeugt der ganz schön Traffic.
Ich hab schon versucht ihn mit dem Eintrag
User-agent: looksmart
Disallow: /
in der robots.txt auszuschliesen, aber das juckt den überhaupt nicht.
Bin gespannt was die Profis sagen?
MfG
Jennifer
Archiv