66.150.55.230 - - [18/Feb/2005:09:18:52 +0100] "GET /robots.txt HTTP/1.1" 200 6238 "-" "Crawler (cometsearch@cometsystems.com)"
Was bringt der ? Anscheinend crawlt er auch für findwhat.
Wie bekannt ist findwhat ?
https://www.findwhat.com/
Wir haben dort keine Einträge gebucht, werden aber gespidert. Wem liefert findwhat noch Daten zu ? Sperren oder nicht ?
Wir möchten allerdings unsere Positionen bei google.com halten.
