Gigabot, nützlich?

Beitrag von **Wildkater** » 06.01.2006, 23:28

Bei mir sind in letzter Zeit ziemlich viele Gigabots im Forum unterwegs.

Ist es von Vorteil ihn durchsuchen zu lassen oder sollte man ihn lieber aussperren?

Suche hier und in Google hat leider keine Ergebnisse zu meiner Frage gebracht.

Wildkater

von **Anzeige von ABAKUS** »

Beitrag von **Itds-Online** » 31.03.2006, 09:09

Ich denke Er macht mehr Traffic als er wert ist !

Beitrag von **marc75** » 31.03.2006, 09:26

wenn du den gigabot nicht ganz aussperren willst kannste die aktivitäten auch via robots.txt runterschrauben.

Beitrag von **ani-K** » 17.04.2007, 14:34

Und zwar so (Quelle: https://gigablast.com/spider.html):

User-agent: gigabot
Crawl-delay: 10

Umso höher der Wert, desto niedriger die Aktivität (hat jemand da Erfahrung mit der Höhe?)