More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models
記事のポイント
📰ニュース
推論モデルにおいて、思考の長さが長くなるほど選択肢の順序によるバイアスが増大することが判明しました。
🔍注目ポイント
CoT推論や推論チューニングモデルはバイアスを減らすとされていましたが、実際には推論過程が長いほど位置バイアスが強まるという新たな知見です。
🔮これからどうなる
AIモデルの評価や開発において、推論の長さと選択肢の順序によるバイアスを考慮した設計が求められるようになります。
MMLUなどのデータセットで13種類の推論モデル設定をテストした結果、12のモデルで推論の長さと位置バイアススコアの間に正の相関が見られました。
特に、推論過程の途中で中断し再開すると、後半ほど位置に偏った選択肢を選ぶ傾向が強まることが因果的に示されています。
この結果は、推論モデルがデフォルトで順序に頑健ではないことを示唆しており、新たな診断ツールも提案されています。
特に、推論過程の途中で中断し再開すると、後半ほど位置に偏った選択肢を選ぶ傾向が強まることが因果的に示されています。
この結果は、推論モデルがデフォルトで順序に頑健ではないことを示唆しており、新たな診断ツールも提案されています。
推論モデルは賢くなるほどバイアスが減ると思いきや、思考が長いとむしろ偏りが出るのは意外ですね。今後のAI開発では、このバイアスをどう抑えるかが重要な課題になりそうです。