gigablast.com

Beitrag von **narc** » 18.04.2006, 20:54

8.831 GB - www.gigablast.com
5.544 GB - msnbot.msn.com
1.169 GB - gimli.seekbot.net
1.003 GB - crawl-66-249-66-97.googlebot.com
0.984 GB - egspd42487.ask.com
0.858 GB - crawl-66-249-66-73.googlebot.com

Das ist meine Crawlstatistik von einem meiner Projekt vom Monat März. Was zum Teufel ist gigablast? Die crawlen ja doller als der Gockel mit all seinen Bots. Ist es womöglich das nächste Überprojekt am Suchmaschinenhimmel?

Soll ich den eher aussperren, oder die Arbeit weiter machen lassen?

von **Anzeige von ABAKUS** »

Beitrag von **Caesar** » 18.04.2006, 22:27

Also Gigablast brauchste eigentlich nicht aussperren. Die Suchmaschine existiert schon etwas länger und eine Pseudosuchmaschine ist es auch nicht

Aber du könntest mir mal bitte eine PN schicken und sagen, wie du deine LOGS ausliest. Denn wenn ich meine auslese ist da einfach keine Übersicht und ich erkenne nichts

Beitrag von **thetrasher** » 19.04.2006, 11:00

https://www.gigablast.com/green.html hat geschrieben:Our superior software engineering allows us to quickly index and search billions upon billions of webpages using less than 0.1% of the computer hardware, electricity, and general infrastructure required by our competitors.

Es ist ein umweltfreundliches Überprojekt!

https://www.gigablast.com/hosted.html hat geschrieben:The possibilities are limitless. Gigablast provides the support, software, hardware, rackspace, and bandwidth.

Gigablast ist auch ein Bot-Hoster. Jeder darf seinen eigenen Gigabot aussenden und Informationen sammeln!

https://www.gigablast.com/dataextraction.html hat geschrieben:There are many useful analyses which may be performed on this data.

Mailadressenextraktion

narc hat geschrieben:Soll ich den eher aussperren, oder die Arbeit weiter machen lassen?

Jeder kann den Gigabot unter Lizenz benutzen. Selbst wenn der Bot von einer Gigablast-IP kommt, könnte es sich um einen gehosteten Giga-Fremdbot handeln. In wessen Auftrag verrichtet der Gigabot was für eine Arbeit auf Deiner Website? Welche Daten werden extrahiert? Die Sperre bleibt Deine Entscheidung.