モデルはどのくらいの速さで教師信号にコミットすべきか？Tsallis損失連続体を用いた推論モデルの学習
How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum
記事のポイント
📰ニュース
推論モデルの学習におけるSFT-then-RLVRの有効性を、Tsallis q-対数を用いた統一的な損失関数で理論的に説明しました。
🔍注目ポイント
Tsallis損失関数は、RLVR（探索）と対数周辺尤度（密度推定）を補間し、モデルの教師信号へのコミット速度を調整する単一パラメータを提供します。
🔮これからどうなる
AIモデルの学習効率とロバスト性が向上し、特に推論能力を要するタスクでの性能改善が期待されます。
SFT-then-RLVRの学習順序がなぜ効果的なのか、またRLVRがコールドスタートで停滞する理由を、Tsallis損失の「探索極」と「密度推定極」の特性で説明しています。
コールドスタートでは密度推定極（SFT）が高速に脱出し、その後探索極（RLVR）がラベルノイズに頑健に学習を進めることが示されました。
さらに、注釈付きの根拠なしに固定qを最適化する2つのモンテカルロ推定器、GARLとPAFTを提案し、FinQAなどのデータセットでコールドスタートの緩和や性能向上を実証しています。
コールドスタートでは密度推定極（SFT）が高速に脱出し、その後探索極（RLVR）がラベルノイズに頑健に学習を進めることが示されました。
さらに、注釈付きの根拠なしに固定qを最適化する2つのモンテカルロ推定器、GARLとPAFTを提案し、FinQAなどのデータセットでコールドスタートの緩和や性能向上を実証しています。
この研究は、大規模言語モデルの推論能力向上に大きく貢献しそうです。特に、コールドスタート問題の解決は、新しいモデル開発の効率を格段に高めるかもしれませんね。