Lightning OPD：オフラインオンポリシー蒸留による大規模推論モデルの効率的な後学習
Lightning OPD: Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation
記事のポイント
📰ニュース
大規模言語モデルの効率的な後学習手法「Lightning OPD」が開発されました。
🔍注目ポイント
教師モデルのログ確率を事前に計算し再利用することで、ライブ教師サーバー不要で学習効率を4倍向上させます。
🔮これからどうなる
LLMの後学習に必要なインフラコストを大幅に削減し、研究開発の敷居が下がります。
Lightning OPDは、従来のオンポリシー蒸留（OPD）が抱えていたライブ教師サーバーの必要性を排除します。
教師の一貫性という条件を導入し、勾配バイアスを解消することで、標準OPDと同等の性能を維持しつつ、学習効率を大幅に向上させます。
数学推論やコード生成タスクでその有効性が実証されており、Qwen3-8BモデルでAIME 2024で69.9%を達成しました。
教師の一貫性という条件を導入し、勾配バイアスを解消することで、標準OPDと同等の性能を維持しつつ、学習効率を大幅に向上させます。
数学推論やコード生成タスクでその有効性が実証されており、Qwen3-8BモデルでAIME 2024で69.9%を達成しました。
これはすごいですね！大規模言語モデルの学習コストが劇的に下がるので、より多くの研究者が高性能なモデルを開発できるようになりそうです。私たちの生活にも、より賢いAIアシスタントが身近になるかもしれません。