言語モデルが自己評価器となる：アクターの内部状態からの価値推定による強化学習
Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States
記事のポイント
📰ニュース
大規模言語モデルの強化学習において、モデル自身の内部状態を利用して報酬の価値を推定する新しい手法「POISE」が開発されました。
🔍注目ポイント
POISEは、ポリシーモデルのフォワードパスで既に計算されている内部信号から価値を推定するため、追加の計算コストを大幅に削減できます。
🔮これからどうなる
これにより、LLMの強化学習がより効率的になり、より多様なプロンプトでの学習が可能になることで、モデルの性能向上に貢献します。
従来のPPOやGRPOといった手法は、価値推定のために大規模なクリティックモデルや複数回のロールアウトが必要でしたが、POISEは軽量なプローブをオンラインで訓練し、単一のロールアウトで価値を推定します。
これにより、Qwen3-4BやDeepSeek-R1-Distill-Qwen-1.5Bなどのモデルで、同等の性能をより少ない計算量で達成できることが数学的推論ベンチマークで示されました。
これにより、Qwen3-4BやDeepSeek-R1-Distill-Qwen-1.5Bなどのモデルで、同等の性能をより少ない計算量で達成できることが数学的推論ベンチマークで示されました。
LLMの強化学習が劇的に効率化されそうですね。モデルが自身の内部状態を賢く活用することで、より少ない計算資源で賢いAIが開発できるようになるかもしれません。