Inference-Time Budget Control for LLM Search Agents
記事のポイント
📰ニュース
LLM検索エージェントが推論時にツール利用とトークン生成の予算を効率的に制御する新手法が提案されました。
🔍注目ポイント
タスクレベルのVOIスコアで各検索アクションの価値を評価し、予算内で最適な検索・分解・回答コミットを決定します。
🔮これからどうなる
限られた計算資源でLLM検索エージェントの回答精度が向上し、より実用的なAIアシスタントの実現に貢献します。
LLM検索エージェントはツール利用とトークン生成に厳しい予算制約があります。
本研究では、これを2段階の推論時予算制御問題として定式化し、検索時にVOIスコアでアクションを選択し、回答時に証拠に基づき最終回答を調整します。
この手法は、複数の多段階QAベンチマークで既存手法を上回る性能を示しました。
本研究では、これを2段階の推論時予算制御問題として定式化し、検索時にVOIスコアでアクションを選択し、回答時に証拠に基づき最終回答を調整します。
この手法は、複数の多段階QAベンチマークで既存手法を上回る性能を示しました。
LLMの推論コストは大きな課題ですが、この研究は限られた予算で賢く情報を探す方法を示していますね。私たちの日常の検索体験も、より賢く効率的になるかもしれません。