ABAKUS

Hallöchen an alle hier,

ich hab da auch mal eine Frage. Nachdem ich angefangen habe meine Seite für Suchmaschinen zu optimieren kommt man ja auch an einen punkt an dem man sich den Logfiles widmet um tiefere Erkenntnisse über das Auftauchen der Spider/Robots zu bekommen. Doch welcher Spider gehört nun zu welcher Suchmaschine?
Bei den Großen wie Google, Fireball, Altavista und Lycos/Hotbot komme ich ja noch klar aber was ist z.B. der Linkwalker oder Turnitin-Bot oder solche Gesellen? Welche Spider sollten man reinlassen und welche sollte man aussperren wegen Emailsammler oder ähnliches?

Hallo,
wenn du englisch kannst wäre hier mal ein guter Start
https://www.robotstxt.org/wc/active/html/type.html

und wenn du Turnitin-bot in Google eintippst wirst du ziemlich genau Erfahren was das für ein Geselle ist.

mfg
viggen

Es gibt auch 2 andere quellen.
https://www.psychedelix.com/agents.html

https://www.jafsoft.com/searchengines/webbots.html

Die letzte ist die umfangreichste mit nicht nur user agent aber auch ip addressen.

Hallöchen an alle,

besten Dank, die Links erfüllen alle Wünsche...