AIモデルは正しい答えを出すが、誤った情報源を引用する問題
AI models often give the right answers but point to the wrong sources
記事のポイント
📰ニュース
主要なAIモデルが、正しい回答にもかかわらず、その根拠となる引用元を誤って提示する現象が報告されました。
🔍注目ポイント
AIモデルが生成する回答の正確性と、その根拠となる情報源の信頼性を同時に評価する新たなベンチマークが開発されました。
🔮これからどうなる
法律や医療など、厳格な規制分野でのAI活用において、誤った引用は重大なリスクとなり、信頼性確保が課題となります。
北京大学の研究者らは、この現象を「帰属の幻覚」と名付け、GPTやGeminiなどのモデルで頻繁に発生することを確認しました。
彼らは、この問題を体系的にテストするための初のベンチマーク「CiteVQA」を開発し、AIの引用の正確性を検証しています。
彼らは、この問題を体系的にテストするための初のベンチマーク「CiteVQA」を開発し、AIの引用の正確性を検証しています。
概要
Leading AI models like GPT and Gemini routinely cite text passages in document analyses that don't actually support their answers. Even when the answer is right, the cited evidence is often wrong. Researchers at Peking University call this "attribution hallucination," a risk for regulated fields li…
AIが正しい答えを出しても、その根拠が間違っていると、特に専門分野での信頼性が揺らぎますね。私たちの仕事のプロセスにも影響が出そうです。