Robots von AllTheWeb, Hotbot und MSN

Hallo liebe Experten,

Ich verstehe die Zusammhänge zwischen den Spidern und den Suchmaschinen von AllTheWeb, Hotbot und MSN nicht genau. Weiß jemand von Euch ungefähr welche Robots denn genau hinter diesen Suchmaschinen und ihren Ergebnisse stecken?

Ich meine damit nicht so pauschal, wie "Inktomi", sonden sowas schon etwas genauer erklärt wie z.B....

Hotbot
Spider heißen inktomi.com
usw....

Lycos
Spider heißt LycosBOT1.com
Spider heißt LycosBOT2.com
usw...

MSN
inktomi wie Hotbot

Gibt es da Muster oder Zusammenhänge die man als Normalsterblicher durchschauen kann und gibt es tatsächlich kluge Köpfe, die da hintendran blicken? Ich danke Euch sehr herzlich und sende viele Grüße

- Helloween -

Hallo sti-ho-dru,

Danke schon mal. Die Seite gibt einem einen allgemein gutne Überblick. Ich weiß nun aber noch nichts über die Zusammenhänge. Denn welcher Robot speist denn jetzt Konkret die drei von mir angesprochenen Suchmaschinen? Hotbot taucht gar nicht auf, etc.

Vielleicht weißt Du ja noch was genaues?

Lieber Gruß
Helloween

https://www.suchfibel.de/5technik/suchm ... hungen.htm
Die Verzeichnisdaten dort sind nicht mehr ganz aktuell, MSN hat looksmart rausgeworfen. Und bei Lycos/Alleskalr/Fireball hat sich auch was geändert.
Selber spidern eigentlich noch:
Google - googlebot (Goolge, AOL, Yahoo, t-online, ...)
inktomi - slurp (hotbot, MSN, overture, )
alltheweb - fast (Lycos,espotting, ..)
altavista - scooter
fireball - firefly, früher kit
und etwas Kleinkram
Kurze Suche in Google liefert da einiges ...
Wie das mit inktomi, alltheweb und altavista nach diversen Übernahmen weitergeht ?
Wahrscheinlich werden alltheweb und altavista zusammengelegt, zumindest bei der Bildersuche ist das wohl bereits der Fall.
Im übrigen - wenn Du Dir Suchergebnisse der jeweiligen suchmaschine ansiehst, steht da oft genug, vom wem die Daten kommen. Und vergiss Hotbot, da kommt nichts drüber ...
Grüße
HCH