報酬モデルの過剰最適化に関するスケーリング則
要約を読む要約を閉じる
OpenAIが報酬モデルの過剰最適化が性能を低下させる現象と、そのスケーリング則を発見しました。
報酬モデルの容量を大きくしすぎると、モデルが報酬関数を過学習し、実際のタスク性能が低下します。
RLHFを用いたAIモデルの訓練において、報酬モデルの適切なサイズ選定がより重要になります。
この現象は「報酬モデルの過剰最適化」と呼ばれ、モデルの容量とデータ量に応じたスケーリング則が存在します。
この研究は、RLHFの訓練プロセスを最適化するための重要な知見を提供します。