Hallöchen an alle hier,
ich hab da auch mal eine Frage. Nachdem ich angefangen habe meine Seite für Suchmaschinen zu optimieren kommt man ja auch an einen punkt an dem man sich den Logfiles widmet um tiefere Erkenntnisse über das Auftauchen der Spider/Robots zu bekommen. Doch welcher Spider gehört nun zu welcher Suchmaschine?
Bei den Großen wie Google, Fireball, Altavista und Lycos/Hotbot komme ich ja noch klar aber was ist z.B. der Linkwalker oder Turnitin-Bot oder solche Gesellen? Welche Spider sollten man reinlassen und welche sollte man aussperren wegen Emailsammler oder ähnliches?
Archiv
