小規模LLMのゼロショット信頼度推定：教師ありベースラインが不要な場合
Zero-Shot Confidence Estimation for Small LLMs: When Supervised Baselines Aren't Worth Training
記事のポイント
📰ニュース
小規模LLMが自身の回答の正確性をゼロショットで推定する手法が、教師あり学習のベースラインを上回る性能を示しました。
🔍注目ポイント
平均トークン対数確率が教師ありベースラインと同等かそれ以上の性能を発揮し、特に分布外データで大幅に優位性を示しました。
🔮これからどうなる
低コストなローカルLLMと高価なクラウドLLMの効率的なルーティングが可能になり、企業はAI運用コストを削減できます。
本研究は、7-8Bの3つのモデルファミリーと2つのデータセットでゼロショット信頼度信号とRouteLLMスタイルの教師ありベースラインを比較しました。
平均トークン対数確率は、教師あり学習なしでモデルの生成特性を測定するため、分布外データで優れた性能を発揮します。
さらに、生成前に知識を注入する「検索条件付き自己評価」を提案し、対数確率よりも低遅延で性能を向上させました。
平均トークン対数確率は、教師あり学習なしでモデルの生成特性を測定するため、分布外データで優れた性能を発揮します。
さらに、生成前に知識を注入する「検索条件付き自己評価」を提案し、対数確率よりも低遅延で性能を向上させました。
小規模LLMが自身の信頼度を高い精度で自己評価できるのは驚きですね。これにより、クラウド利用料を抑えつつ、より多くの企業がAIを導入しやすくなりそうです。