Welcher Spider gehört zu welcher Suma?

Beitrag von **computerdirk** » 30.05.2003, 19:15

Hallöchen an alle hier,

ich hab da auch mal eine Frage. Nachdem ich angefangen habe meine Seite für Suchmaschinen zu optimieren kommt man ja auch an einen punkt an dem man sich den Logfiles widmet um tiefere Erkenntnisse über das Auftauchen der Spider/Robots zu bekommen. Doch welcher Spider gehört nun zu welcher Suchmaschine?
Bei den Großen wie Google, Fireball, Altavista und Lycos/Hotbot komme ich ja noch klar aber was ist z.B. der Linkwalker oder Turnitin-Bot oder solche Gesellen? Welche Spider sollten man reinlassen und welche sollte man aussperren wegen Emailsammler oder ähnliches?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **viggen** » 30.05.2003, 21:08

Hallo,
wenn du englisch kannst wäre hier mal ein guter Start
https://www.robotstxt.org/wc/active/html/type.html

und wenn du Turnitin-bot in Google eintippst wirst du ziemlich genau Erfahren was das für ein Geselle ist.

mfg
viggen

Beitrag von **Webby** » 31.05.2003, 21:01

Es gibt auch 2 andere quellen.
https://www.psychedelix.com/agents.html

https://www.jafsoft.com/searchengines/webbots.html

Die letzte ist die umfangreichste mit nicht nur user agent aber auch ip addressen.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **computerdirk** » 31.05.2003, 21:18

Hallöchen an alle,

besten Dank, die Links erfüllen alle Wünsche...