Miner：大規模推論モデルにおけるデータ効率の良い強化学習のための内在的熟達度の採掘
Miner:Mining Intrinsic Mastery for Data-Efficient RL in Large Reasoning Models
記事のポイント
📰ニュース
大規模推論モデルの強化学習において、データ効率を大幅に向上させる新手法「Miner」が開発されました。
🔍注目ポイント
政策の内在的な不確実性を自己教師あり報酬信号として活用し、トークンレベルの焦点信用割り当てと適応的優位性校正を導入しています。
🔮これからどうなる
推論モデルの学習効率が向上し、より少ないデータで高性能なAIモデルを開発できるようになります。
現在の批判器なし強化学習は、正解のみのプロンプトで非効率的でした。
Minerは外部からの監視や追加モデルなしで、モデル自身の不確実性を利用し、重要な不確実トークンに勾配を集中させます。
Qwen3-4BおよびQwen3-8Bモデルでの評価では、既存手法を最大4.58%上回るPass@1性能向上を達成しました。
Minerは外部からの監視や追加モデルなしで、モデル自身の不確実性を利用し、重要な不確実トークンに勾配を集中させます。
Qwen3-4BおよびQwen3-8Bモデルでの評価では、既存手法を最大4.58%上回るPass@1性能向上を達成しました。
大規模言語モデルの学習効率が劇的に改善されそうですね。これにより、より少ない計算資源で高性能なAIが開発され、私たちの生活にもっと身近なAIアシスタントが登場するかもしれません。