存在しない論文を、自信満々に引用した。
AIは悪意なく、嘘をつく。それが一番怖い。
会議で、こう言った。
「この分野では、2024年にハーバード大学の研究で
生産性が43%向上するという結果が出ています」
自信満々だった。
AIが教えてくれた情報だったから。
会議が終わった後、参加者の一人から連絡が来た。
「その研究、どこで見つけましたか？
ちょっと調べたんですが、見当たらなくて」
存在しなかった。論文も、研究も、43%という数字も。
全部、AIが作り上げたものだった。
ハルシネーションとは何か
AIには、ハルシネーションと呼ばれる現象がある。
幻覚、という意味だ。
AIが「知らない」と言えばいいところを、知っているふりをして、答えを作り上げる。
しかも本物と見分けがつかない精度で。
- 実在しない論文を引用する。
- 存在しない人物の経歴を生成する。
- 起きていない出来事を、事実として語る。
嘘をついている自覚は、AIにはない。
「これが正しい」と思って、堂々と出してくる。
だから厄介だ。
なぜAIは嘘をつくのか
AIは「答えを生成する機械」だ。
「わからない」という選択肢を、本質的に持っていない。
人間なら「それは知らないです」と言える。
AIは問われたら、答えを作る。
知識の中に正解がなければ、それらしい答えを組み合わせて生成する。
論文の引用なら、実在する著者名と、実在する大学名と、それらしいテーマを組み合わせて、存在しない論文を作り上げる。
全部のパーツが本物だから、一見して嘘だとわからない。
実際に起きた、笑えない話
弁護士がAIに判例を調べさせた。
AIは複数の判例を、詳細な情報とともに提示した。
裁判所に提出した後、判明した。引用した判例が、全て存在しなかった。
医療の現場で、AIに薬の相互作用を確認させた。
AIは「問題ない」と答えた。実際には、重大な相互作用があった。
採用担当者がAIに候補者の経歴を調べさせた。
AIは詳細なプロフィールを生成した。実在しない受賞歴、実在しない職歴が含まれていた。
これは全部、AIが悪意を持ってやったことじゃない。
ただ、答えを生成しただけだ。
信じやすい理由がある
なぜ人間はAIの嘘を見抜けないのか。
文章が、あまりにも自然だからだ。
人間が嘘をつくとき、どこかにほころびが出る。
言い淀む、目が泳ぐ、話が矛盾する。
AIにはそれがない。
淀みなく、論理的に、自信を持って語る。
しかも、本物の情報と嘘の情報が、同じ文体で混在している。
どこまでが本当で、どこからが嘘か読んでいるだけでは、わからない。
ハルシネーションが起きやすい場面
全てのケースで起きるわけじゃない。起きやすいパターンがある。
- 具体的な数字を聞いたとき。
- マイナーな専門知識を聞いたとき。
- 最新情報を聞いたとき。
- 存在の確認をしたとき。
逆に言えばこれらの場面では、必ず一次情報を確認する習慣が必要だ。
「AIがそう言っていた」は、この場面では根拠にならない。
では、どう使えばいいのか
ハルシネーションを完全になくす方法は、今のところない。
でも、騙されにくくなる方法はある。
AIを「仮説生成機」として使うことだ。
答えを出してもらうのではなく、「こういう可能性があるか」を探る道具として使う。
AIが出した情報は、調査の出発点であって、終点じゃない。
- 数字には必ずソースを確認する。
- 固有名詞は必ず検索する。
- 「本当にそうか？」を、自分で問い直す。
AIは地図だ。でも地図が現実とずれていることがある。
現地に着いたら、自分の目で確認する。
それだけのことを、忘れていた。