Measuring Black-Box Confidence via Reasoning Trajectories: Geometry, Coverage, and Verbalization
記事のポイント
📰ニュース
LLMの推論過程から信頼度を推定する新しいブラックボックス手法が提案されました。
🔍注目ポイント
推論過程を埋め込み、その収束度合いを測ることで、既存手法より少ない計算で高精度な信頼度推定を実現します。
🔮これからどうなる
医療や科学分野でのLLMの安全な利用を促進し、誤情報の拡散リスクを低減する可能性があります。
この手法は、推論過程をスライディングウィンドウで埋め込み、外部の正解アンカーへの収束度を測定します。
Gemini 3.1 ProやClaude Sonnet 4.6を用いた実験で、既存の自己整合性手法よりも少ないサンプル数で高い精度を示しました。
ロジットや隠れ状態、教師ありキャリブレーターは不要で、テキストのみのAPIで利用可能です。
Gemini 3.1 ProやClaude Sonnet 4.6を用いた実験で、既存の自己整合性手法よりも少ないサンプル数で高い精度を示しました。
ロジットや隠れ状態、教師ありキャリブレーターは不要で、テキストのみのAPIで利用可能です。
LLMの「なぜそう答えたか」を理解する上で、この信頼度推定は非常に重要になりそうです。特に医療現場での活用に期待が高まりますね。