AIモデルは正しい答えを出すが、誤った情報源を引用する問題
AI models often give the right answers but point to the wrong sources
記事のポイント
📰ニュース
主要なAIモデルが、正しい回答にもかかわらず、その根拠となる引用元を誤って提示する現象が報告されました。
🔍注目ポイント
AIモデルが生成する回答の正確性と、その根拠となる情報源の信頼性を同時に評価する新たなベンチマークが開発されました。
🔮これからどうなる
法律や医療など、厳格な規制分野でのAI活用において、誤った引用は重大なリスクとなり、信頼性確保が課題となります。
北京大学の研究者らは、この現象を「帰属の幻覚」と名付け、GPTやGeminiなどのモデルで頻繁に発生することを確認しました。
彼らは、この問題を体系的にテストするための初のベンチマーク「CiteVQA」を開発し、AIの引用の正確性を検証しています。
彼らは、この問題を体系的にテストするための初のベンチマーク「CiteVQA」を開発し、AIの引用の正確性を検証しています。
AIが正しい答えを出しても、その根拠が間違っていると、特に専門分野での信頼性が揺らぎますね。私たちの仕事のプロセスにも影響が出そうです。