「確からしさ」と「正しさ」は、違う。
AIが最も危険なのは、専門家のように振る舞うときだ。
その答えは、完璧だった。
数字があった。出典があった。論理の流れも、綺麗だった。
一つだけ問題があった。
全部、AIが作り上げたものだった。
「正しい嘘」とは何か
ハルシネーションには、種類がある。
明らかな嘘と、「正しい嘘」だ。
明らかな嘘は、調べればすぐわかる。
存在しない人物、起きていない出来事検索すれば、一発で判明する。
厄介なのは「正しい嘘」だ。
事実の断片を組み合わせて作られた、存在しないはずなのに、存在しそうな答え。
- 実在する研究者の名前。
- 実在する大学の名前。
- 実在する研究テーマ。
これらを組み合わせて生成された論文は調べようとしなければ、本物と区別がつかない。
AIはなぜ「正しい嘘」を作れるのか
AIは大量のテキストを学習して、「次に来る言葉」を予測する機械だ。
論文の引用を求められたとき、AIは「論文の引用はこういうものだ」というパターンを学習した記憶から、それらしいものを生成する。
- 著者名はこういう形式。
- タイトルはこういう構造。
- 数字はこのくらいの範囲。
全部、本物のパターンに沿って作られる。だから、本物に見える。
AIは嘘をついているんじゃない。パターンを再現しているだけだ。
その結果が、たまたま嘘になる。
「確からしさ」と「正しさ」は違う
ここが本質だ。
AIが出す答えは、「確からしい」答えだ。「正しい」答えではない。
学習データの中で、最も自然な流れを選んでいる。
でも「自然な流れ」は、「事実」とイコールじゃない。
人間が読んで「そうだろうな」と思える答えが、AIにとっての「良い答え」だ。
本当に正しいかどうかはAIには、わからない。
確認する手段を、持っていないからだ。
最も危険な瞬間
ハルシネーションが最も危険なのは、「専門家に聞いた」という感覚で使うときだ。
AIは物知りに見える。
何を聞いても、自信を持って答える。
言い淀まない、迷わない、「わからない」と言わない。
この振る舞いが、「信頼できる専門家」のように見える。
でも専門家と決定的に違うことがある。
- 専門家は「それは私の専門外です」と言える。
- 専門家は「その数字は記憶が曖昧です」と言える。
- 専門家は「確認してから答えます」と言える。
AIは、言えない。
わからなくても、答える。
曖昧でも、断言する。
確認できなくても、提示する。
この違いを忘れたとき、人は騙される。
「正しい嘘」を見抜く方法
完全に防ぐ方法はない。でも、引っかかりにくくなる方法はある。
一つ目。数字には必ずソースを求める。
「43%向上」ではなく、「どの論文の何ページか」まで確認する。AIがソースを出せないなら、その数字は使わない。
二つ目。固有名詞は必ず検索する。
人名、論文名、組織名全部、自分で検索して存在を確認する。30秒で済む確認が、致命的なミスを防ぐ。
三つ目。「それらしさ」を疑う。
読んで「なるほど」と思った瞬間が、一番危ない。自分が信じたいものをAIが出してきたとき、特に疑ってかかる必要がある。
AIと付き合う、正しい距離感
2弾で書いた。AIは「仮説生成機」として使うべきだと。
3弾で付け加えたいことがある。
AIは「思考の壁打ち相手」として使うのが、最も安全だ。
答えを出してもらうのではなく、自分の考えを整理する道具として使う。
- 「こういう仮説を持っているんだが、どう思うか」
- 「この論理に穴はないか」
- 「他にどんな可能性があるか」
これなら、ハルシネーションが起きても致命的にならない。
AIの答えを、あなたが検証するプロセスが残るからだ。
AIを「答えを出す機械」ではなく、「考える道具」として使う。
この一線を守るだけで、正しい嘘に騙される確率は、大きく下がる。
それでも、使い続ける理由
ハルシネーションがある。正しい嘘をつく。確認しないと危ない。
それでも、AIをやめる理由にはならない。
車は事故を起こす。でも車をやめた人はいない。
ルールを作って、注意して、使い続けている。
AIも同じだ。
特性を知って、距離感を掴んで、使い続ける。
道具の限界を知ることが、道具を使いこなす第一歩だ。