自己整合性のアドバンテージの低下：現代LLMにおける収穫逓減とコスト増大
Self-Consistency Is Losing Its Edge: Diminishing Returns and Rising Costs in Modern LLMs
記事のポイント
📰ニュース
LLMの推論能力向上に伴い、自己整合性（複数推論パスのサンプリング）の効果が薄れ、コストが増大していることが示されました。
🔍注目ポイント
強力なLLMでは、自己整合性による精度向上はわずかであり、サンプリング数を増やすとノイズが増え、性能が低下する可能性が指摘されています。
🔮これからどうなる
LLMの運用コスト削減に繋がり、より効率的な推論戦略の設計が求められるようになります。
Gemini 2.5モデルをHotpotQAとMATH-500で評価した結果、サンプリング数を増やしても精度向上はHotpotQAで0.4%、MATH-500で1.6%とごくわずかでした。
一方でトークンコストはサンプリング数にほぼ比例して増加し、一部設定では性能が低下する現象も確認されています。
一方でトークンコストはサンプリング数にほぼ比例して増加し、一部設定では性能が低下する現象も確認されています。
最近のLLMは賢くなっているので、やみくもに自己整合性を使うのは非効率的になりそうです。推論コストを抑えるためにも、モデルの信頼性に応じて戦略を使い分けるのが重要になりそうですね。