Gigabot, nützlich?

[Wildkater]

Bei mir sind in letzter Zeit ziemlich viele Gigabots im Forum unterwegs.

Ist es von Vorteil ihn durchsuchen zu lassen oder sollte man ihn lieber aussperren?

Suche hier und in Google hat leider keine Ergebnisse zu meiner Frage gebracht.


Wildkater

[Itds-Online]

Ich denke Er macht mehr Traffic als er wert ist !

[marc75]

wenn du den gigabot nicht ganz aussperren willst kannste die aktivitäten auch via robots.txt runterschrauben.

[ani-K]

Und zwar so (Quelle: https://gigablast.com/spider.html):

User-agent: gigabot
Crawl-delay: 10

Umso höher der Wert, desto niedriger die Aktivität (hat jemand da Erfahrung mit der Höhe?)