ich würde als sticky eine liste mit allen setzen und nicht für jeden bot nen eigenen
thread also einen thread suchmas, einen offline-browser und einen harvester.
Ja werde ich machen, aber vorher wäre es gut wenn auch einzelne threads zum jeweiligen Spider/robot da sind, damit leute darüber kommentieren können oder falls es änderungen gibt diese da posten.
Ich werde aber eine sticky robot Datenbank thread anlegen die aber gesperrt ist, damit die schön übersichtlich bleibt. Die Moderator oder Webby können dann einen neu ausgearbeiteten Bot (der zuerst in einem eigenen thread behandelt wurde) hinzufügen.
Der GigaBlast ist ziemlich schnell. Vorhin spiele ich mit meinem Tagesprotokoll rum, stelle fest, daß der Herr um 18.52 auf meiner Domain war. Also gehe ich da mal auf die Startseite - und siehe da: Um 19:30 sind alle gespiderten Seiten bereits auffindbar.
Die IP's haben sich wohl verschoben - meiner kam von 216.243.113.1 - gigablast.com, zusätzlich von der 81, 82, 84 und 87 - die haben wohl den ganzen IP-Block übernommen, die DNS-Einträge gehören noch zu 81.unused.zianet113.gwi.bz und WU-hispano-hispano.gwi.bz.