研究者らが約1,500ドルで基盤モデルをゼロから学習させることに成功
Researchers say they trained a foundation model from scratch for about $1,500
記事のポイント
📰ニュース
Sapientの研究者らが、約1,500ドルという低コストで基盤LLMをゼロから学習させたと発表しました。
🔍注目ポイント
標準Transformerを階層型リカレントモデル(HRM)に置き換え、命令応答ペアのみで学習することで、計算効率を大幅に向上させました。
🔮これからどうなる
これにより、高額な費用と大規模データが不要になり、中小企業でも独自の高性能な推論モデルを開発できるようになります。
Sapientが開発したHRM-Textは、計算を戦略層と実行層に分離し、推論に必要な本質的な学習に集中します。
これにより、10億パラメータのモデルが、より大規模なオープンモデルと同等の性能を主要ベンチマークで達成しました。
従来のLLM学習が膨大な計算資源を費やしてインターネット上の情報を記憶させる非効率な方法だったのに対し、HRM-Textはより効率的な学習アプローチを提案しています。
これにより、10億パラメータのモデルが、より大規模なオープンモデルと同等の性能を主要ベンチマークで達成しました。
従来のLLM学習が膨大な計算資源を費やしてインターネット上の情報を記憶させる非効率な方法だったのに対し、HRM-Textはより効率的な学習アプローチを提案しています。
概要
Training a foundation LLM from scratch costs millions and requires internet-scale data — which is why most enterprises don't bother. Sapient thinks it has a cheaper path.To overcome this brute-force scaling dogma, researchers at Sapient developed HRM-Text, which replaces standard Transformers with …
これはLLM開発のコスト障壁を大きく下げる画期的なニュースですね。多くの企業が独自のAIモデルを開発できるようになり、私たちの生活にも多様なAIサービスが普及しそうです。