テンセント、最大5倍サイズのモデルに匹敵するオープンソースモデル「Hy3」を発表
Tencent releases Hy3 open-source model that allegedly matches models up to five times its active size
記事のポイント
📰ニュース
テンセントが、最大5倍のモデル性能に匹敵するとされるオープンソースの言語モデル「Hy3」を公開しました。
🔍注目ポイント
Hy3はMoEアーキテクチャを採用し、2950億パラメータ中210億のみを活性化させ、効率的に高性能を実現しています。
🔮これからどうなる
企業や開発者は、より少ない計算資源で高性能なLLMを利用できるようになり、AI開発のコスト削減に貢献します。
Hy3は、混合エキスパート（MoE）アーキテクチャに基づく2950億パラメータのモデルですが、一度に活性化されるのは210億パラメータのみです。
これにより、同社は最大5倍のサイズのモデルと同等の性能を発揮しつつ、幻覚率を5.4%と半減させたと主張しています。
これにより、同社は最大5倍のサイズのモデルと同等の性能を発揮しつつ、幻覚率を5.4%と半減させたと主張しています。
テンセントのHy3は、少ないリソースで高性能なLLMを実現する点で画期的ですね。多くの企業がAI導入のハードルを下げられるかもしれません。