「軌跡を教師に」：エネルギー誘導蒸留による少数ステップ離散フローマッチング
Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation
記事のポイント
📰ニュース
離散フローマッチングモデルの推論を高速化する新しい蒸留手法が開発されました。
🔍注目ポイント
教師モデルの推論軌跡をエネルギー関数で誘導し、より高品質なデータで生徒モデルを訓練します。
🔮これからどうなる
大規模言語モデルの生成速度が大幅に向上し、より少ない計算資源で高品質なテキスト生成が可能になります。
従来の離散フローマッチングは数百ステップを要し、蒸留しても生徒モデルの性能が教師モデルを下回ることがありました。
この新手法は、推論時の各ステップで候補の品質を評価し、最適な軌跡を生成することで、生徒モデルが128倍高速かつ32%低いパープレキシティを達成しました。
訓練データ量やモデルサイズが小さい場合でも、既存手法を上回る性能を示しています。
この新手法は、推論時の各ステップで候補の品質を評価し、最適な軌跡を生成することで、生徒モデルが128倍高速かつ32%低いパープレキシティを達成しました。
訓練データ量やモデルサイズが小さい場合でも、既存手法を上回る性能を示しています。
大規模言語モデルの推論速度が劇的に改善される可能性があり、スマートフォンのようなエッジデバイスでの利用が現実的になりそうです。