やあ、にっしーだよ。
先月、お客さんへのメールをAIに書いてもらって、サラッと送ったことがあってね。あとから読み返したら、ホテル名が全然違う名前になってて。「えっ、どこの宿だよ」って冷や汗かきました。担当者の方に確認したら「うちの名前じゃないですね」って返ってきて、もう穴があったら入りたかった（笑）。
あの時から「AI、信用しすぎるのやばい」を身をもって体感してるんですけど、今日はその話をしようと思って。AIが嘘をつく、いわゆる「ハルシネーション」って現象について。
ハルシネーションって何
「幻覚」って訳されることが多いんだけど、要するに AIがもっともらしい嘘をしれっと混ぜてくる現象のことです。
怖いのが、AIって「嘘をついてやろう」とか「よく知らないから黙っておこう」とは思わないところなんですよね。知らないことでも、知ってる風に自信満々に答えてくる。しかも語調が丁寧でそれっぽいから、パッと読むと気づかない。
さっきのホテル名の話もそれで、AIは「それっぽいホテル名」を出してきたわけで、意図的に騙そうとしたわけじゃない。ただ正確かどうかを確認する仕組みがそもそもないんです。
なぜ起きる（確率モデルの話を噛み砕く）
ここちょっとだけ仕組みの話をするね。難しくないので一緒に考えてみてほしい。
ChatGPTでもClaudeでもGeminiでも、現行のAIはほぼ全部「次にくる単語の確率が高いやつを順番に出すモデル」なんですよ。
文章の途中で「宮古島で有名な橋といえば」って入力したら、AIが学習したテキストの中に「伊良部大橋」が圧倒的に多く出てくるから、「伊良部大橋」が高確率で返ってくる。これ自体は正しい。
でも「宮古島の〇〇ホテルの電話番号は」って聞いたとき、AIにとっては電話番号も「次にくる自然な文字の連続」として処理されちゃう。学習データに正しい番号があれば正解が出るかもしれないけど、正解かどうかを外部で照合する仕組みがないから、それっぽい数字を並べてしまうことがあるんです。
要するに、AIは「事実確認」じゃなくて「確率的な文章補完」をしてる。そのギャップがハルシネーション。
やらかしやすいシーン6つ
実際に痛い目を見やすいのはこのあたりかなって思ってます。
- 1. 法律・税・医療系の情報
- 「この場合、消費税はどうなりますか」「この症状には何が効きますか」。AIはそれっぽい答えを出してくれるけど、制度は改正されるし、個別ケースへの適用は本来専門家が判断する話なので、ここをノーチェックで使うのはリスクが高いと思います。
- 2. 地名・人名・店名
- さっきのホテル名もそうで、固有名詞は特にやらかしやすい。「似てるけど違う名前」「実在しない名前」「昔の名前のまま」みたいなことが起きる。宮古島の小さいお店の名前は学習データ自体が少ないから、さらにリスクが上がるんですよね。
- 3. 最新ニュース・アップデート情報
- AIには学習データのカットオフ（データの終わり）があって、それ以降の情報は基本的に持っていない。「最近どんな補助金がありますか」とか「〇〇ツールの最新版は何ができますか」みたいな質問は、古い情報をそのまま出してくることがある。
- 4. 料金・スペック・数値
- 価格は変わるし、機能もバージョンアップで変わる。「このサービスの月額は〇〇円」って断言されても、実際の公式ページを見たら違う金額になってることがある。
- 5. 引用文・URLの捏造
- 「〇〇について参考になるURLを教えて」って聞くと、実在しないURLを返してくることがある。リンク先に飛んでみたらページが存在しない、とか。引用文も同じで「〇〇さんがこう言っていた」って出てくるけど、原文を確認したら全然違う文章だったりする。
- 6. 「うちのお店の情報」全般
- 自社の住所・営業時間・メニュー・スタッフ構成みたいな情報は、AIが勝手に知っているはずがない。なのに聞いたら何か返してくることがある。これが一番やっかいで、本人が「うちの情報を教えた」と思ってないのにAIが何かを出してくる状態です。
防ぐ5つのコツ
完全にゼロにするのは難しいんだけど、実務でのリスクをかなり下げることはできます。にっしー的に効いてると思ってる順で書きます。
- 1. 重要情報は必ず人間の目で確認する
- これが一番シンプルで一番大事かなって思ってて。AIに書いてもらった文章に固有名詞・数字・固有情報が入ってたら、そこだけ人間が一次ソース（公式サイト、書類、手元のメモ）で確認する。全文読み直すより「名前・数字・リンクだけ拾う」の方が速くて現実的です。
- 2. Web検索付きのモードを使う
- ChatGPTのSearch機能、ClaudeのWeb検索（有料プランのSearch機能）、Geminiの検索連携。これらを使うと、AIが「ウェブで調べながら答える」状態になるので、最新情報や固有名詞のズレが減ります。ただしこれも100%じゃないので、確認の習慣は残す方がいいと思います。
- 3. 「与えた資料の中で答えて」を使う
- NotebookLMとか、Claudeの「ここにコピペした文書を読んで答えて」という使い方。AIが参照できる情報を手動で限定することで、ハルシネーションが起きにくくなる。「うちのホームページのテキストを貼り付けて、そこから答えを探して」みたいなやり方が一番安全です。
- 4. 最初に「分からないなら分からないと言って」と書く
- プロンプトの冒頭に「不確かな情報は『確認してください』と言ってください」「知らないことは知らないと答えてください」と書いておくと、AIが不確かな情報を断定で出してくる確率が下がります。万全ではないけど、体感では結構効く。
- 5. 「出典を教えて」「どこで確認できますか」と聞く
- URLが返ってきたら実際に飛んでみる。「確認できません」と返ってきたら、それ自体が信号です。AI自身が「出典を示せない = 怪しい」と教えてくれる。
ゼロにはならない、付き合うもの
で、これだけ対策しても「ハルシネーションがゼロになる日が来るか」というと、現時点では難しいんじゃないかなって思ってます。研究者も取り組んでて年々マシにはなってるけど、確率モデルの根本的な仕組みが続く限り、ゼロにはならないと思う。
ハルシネーションは「AIがダメだから起きる」んじゃなくて、「こういう仕組みで動いてるAIには起きやすい部分がある」ということなんですよね。だから付き合い方の話になる。
僕がたどり着いた「にっしー流」は「8割AI、2割人間」です。書いてもらった文章をゼロから見直さなくていい。でも固有名詞・数字・断言系の一文だけは、さっと人間の目を通す。それだけで、あのホテル名みたいなやらかしはかなり防げると思ってます。
AIが「知らないのに答える」ことより、「知らないまま送ってしまう人間」の方がやばい。そこさえ抑えれば、AIは本当に強い相棒になります。
難しく考えなくていいですよ。最初は「なんか変な名前出てきたな」と思ったら調べる、それだけでいいと思うんです。一緒にうまく付き合っていこう。
気になることがあれば、ONEstaに気軽に相談してね。