ChatGPTのハルシネーション対策｜誤った回答を見抜く方法と正しい使い方

ChatGPTに騙されるケースは実際に起きている
ハルシネーションとは何か
ハルシネーションを見抜く5つの方法
ハルシネーションを防ぐプロンプトのコツ
どの分野で特に注意すべきか
実践：信頼できる情報とできない情報の判断フロー
まとめ：ChatGPTは「信じる」ものではなく「使う」もの
おすすめ書籍

ChatGPTに騙されるケースは実際に起きている

プロジェクトの企画書を作成する際、市場規模のデータが必要になるケースがあります。ChatGPTに「日本のSaaS市場規模と成長率を教えて」と聞くと、どうなるでしょう。

返ってくる回答は非常に具体的です。「2023年の日本SaaS市場は1兆2,400億円、前年比18.3%成長」と数値付き。さらに「出典：IT市場調査レポート2023」というソースまで明記されることがあります。

この数字をそのまま企画書に使うと、大変なことになります。

調べ直したところ、その調査レポート自体が存在しない可能性があります。市場規模の数字も、実際の統計とは20%以上ずれていることがあります。

これがChatGPTの「ハルシネーション」です。

ハルシネーションとは何か

ハルシネーション（Hallucination）は、AIが「事実ではない情報を、あたかも事実であるかのように生成する現象」を指します。日本語では「幻覚」とも訳されますが、AIが意図的に嘘をついているわけではありません。

ChatGPTは膨大なテキストデータから学習したパターンをもとに、統計的に「次に来る言葉」を予測して文章を生成しています。その過程で、実在しない書籍名や、存在しない統計データ、架空の専門家の発言などを「もっともらしく」作り出してしまうことがあるのです。

特に厄介なのは、ハルシネーションが非常に自然で説得力があることです。具体的な数値やソースまで添えられていると、つい信じてしまいます。

実際、OpenAIも公式にこの問題を認めており、GPT-4でも完全には解決していません。専門的な質問に対しては、特にハルシネーションが発生しやすい傾向があります。

ハルシネーションを見抜く5つの方法

失敗経験から学んだ、実践的な見抜き方を紹介します。

1. 具体的な固有名詞は必ず検索で確認

ChatGPTが挙げた書籍名、論文タイトル、レポート名、専門家の名前は、必ずGoogle検索で実在を確認しましょう。

例えば「『AI時代のマーケティング戦略』（山田太郎著、2023年）」という書籍名が出てきたら、AmazonやGoogle Booksで検索します。見つからなければ、それはハルシネーションの可能性が高いです。

経験的に、特に以下のパターンは要注意です。

日本語の書籍で、著者名が「太郎」「花子」など一般的すぎる名前
出版年が最近すぎる（2023年以降）
レポート名に「調査」「白書」「レポート」など汎用的な言葉が多い

実際に、ChatGPTに「AIに関する最新の書籍を5冊教えて」と聞くと、実在しない書籍が含まれることがあります。タイトルも著者名も実にリアルですが、検索すると全くヒットしません。

2. 数値データは複数ソースで裏取り

統計データ、市場規模、成長率などの数値は、必ず公式ソースで確認します。

推奨される確認手順は以下の通りです。

ChatGPTの回答をコピー
「[数値] [キーワード] site:go.jp」でGoogle検索（政府機関のデータに絞る）
該当データが見つからなければ、業界団体や調査会社の公式サイトを確認
それでも見つからなければ、その数値は使わない

例えば、先ほどの「日本のSaaS市場規模1兆2,400億円」という数字。実際に調べると、矢野経済研究所の調査では「1兆5,200億円」、MM総研では「1兆1,800億円」と、調査機関によって数値が異なります。

ChatGPTの数字はどこにも存在しない「中間値」を作り出していたわけです。

3. 回答に「確信度」を聞く

これは意外と有効なテクニックです。ChatGPTに回答してもらった後、「今の回答の確信度は何%ですか？不確かな部分はどこですか？」と追加で質問します。

すると、こんな返答が返ってきます。

「先ほどの市場規模については、確信度60%程度です。具体的な数値は記憶が曖昧で、実際の統計データと異なる可能性があります。正確な数値は、矢野経済研究所やMM総研などの公式レポートをご確認ください」

この方法で、ChatGPT自身に「不確実性」を自覚させることができます。確信度が80%以下の情報は、必ず裏取りするようにしています。

4. 時系列の整合性をチェック

特に歴史的事実や企業の沿革など、時系列情報には要注意です。

例えば、「日本のAI企業の歴史」について聞いた場合、こんな回答が返ってくることがあります。

「Preferred Networksは2010年に設立され、2015年にディープラーニングフレームワークChainerを発表」

一見正しそうですが、実際にはPreferred Networksの設立は2014年です。2010年という年号は、おそらく他のAI企業の設立年と混同したのでしょう。

時系列チェックのコツは、「年号→出来事」の順で検索すること。「2010年 Preferred Networks」と検索すれば、すぐに年号の誤りに気づけます。

5. 専門外の分野では複数回質問して一貫性を確認

同じ質問を少し言い方を変えて複数回投げかけ、回答の一貫性を確認する方法です。

例えば、医療情報について聞く場合。

「糖尿病の治療法を教えて」
「2型糖尿病患者が注意すべき食事は？」
「インスリン療法が必要になるのはどんなケース？」

これらの回答に矛盾がないかチェックします。もし一つ目の回答で「運動療法が最も重要」と言っていたのに、二つ目で「食事制限だけで十分」と言っているなら、その情報の信頼性は低いです。

法律相談でこの方法を使った事例があります。「著作権の保護期間」について3つの角度から質問したところ、1つ目と3つ目で回答が矛盾していたため、弁護士に確認し直すことができました。

ハルシネーションを防ぐプロンプトのコツ

見抜く方法と同じくらい重要なのが、そもそもハルシネーションを起こさせないプロンプトの書き方です。

コツ1: 「知らなければ知らないと言って」と明記

プロンプトに必ず入れるべきフレーズがこれです。

悪い例：

日本のSaaS市場規模を教えて

良い例：

日本のSaaS市場規模を教えて。
ただし、確実な情報がない場合は「正確なデータは不明」と答えてください。
推測や不確実な情報は提供しないでください。

この一文を入れるだけで、ハルシネーションの発生率が体感で30%ほど減ります。

コツ2: 「出典を明記して」ではなく「確認可能なソースのみ」

「出典を明記して」と指示しても、架空の出典を作り出すことがあります。

より効果的なのは、こう指示すること。

日本のSaaS市場規模を教えて。
情報源は、Google検索で確認できる公式サイトやレポートに限定してください。
確認できないソースの情報は含めないでください。

こうすることで、「検索可能性」という制約を明確にできます。

コツ3: 段階的に掘り下げる

一度に全てを聞くのではなく、段階的に質問を深めていきます。

ステップ1：

日本のSaaS市場について、あなたが確実に知っている情報を教えて

ステップ2：

その情報は、どの程度の確信度ですか？

ステップ3：

より正確な情報を得るには、どこで調べればいいですか？

この方法なら、ChatGPTが「知らないこと」を認めやすくなります。

コツ4: 事実と意見を分けて聞く

「ChatGPTの活用方法を教えて」という曖昧な質問ではなく、こう分けます。

1. ChatGPTでできること（事実）をリストアップ
2. あなたが推奨する使い方（意見）を教えて

それぞれ分けて回答してください。

事実と意見が混在すると、どこまでが正確な情報か判断しづらくなります。明確に分けることで、検証すべき部分が明確になります。

どの分野で特に注意すべきか

2年間ChatGPTを使い続けた経験から、特にハルシネーションが起きやすい分野をまとめました。

最高レベルの注意が必要（信頼度20-40%）

1. 医療・健康情報

「この症状の原因は？」「この薬の副作用は？」といった質問には、もっともらしい回答が返ってきますが、決して鵜呑みにしてはいけません。

「頭痛の対処法」を聞いて、後で医師に確認したところ「その方法は逆効果」と指摘されたケースがあります。医療情報は必ず専門家に確認してください。

2. 法律相談

「この契約書は有効？」「著作権侵害に当たる？」といった法律相談も危険です。

法律は条文だけでなく判例や解釈によって結論が変わります。ChatGPTは最新の判例を知りませんし、個別の状況を正確に判断できません。

「雇用契約書のチェック」を依頼した事例では、3つの重大な見落としがありました。弁護士に見てもらって気づけましたが、そのまま契約していたら大変なことになっていました。

3. 最新ニュース・時事問題

ChatGPTの学習データには期限があります（GPT-4の場合、2023年4月まで）。それ以降の情報は、最新版でも不完全です。

「2024年の税制改正」「最新の○○事件」など、直近の情報には特に注意が必要です。

中程度の注意が必要（信頼度50-70%）

4. 専門的な技術情報

プログラミングのコード、数学の公式、科学的な説明など、専門性の高い分野も要注意です。

基本的な情報は正確なことが多いですが、ニッチなライブラリの使い方や、最新のベストプラクティスは間違っていることがあります。

Reactのフック使用例で、非推奨になった書き方を提案されることがあります。公式ドキュメントと照らし合わせて、初めて気づくケースもあります。

5. 歴史的事実・年号

大まかな流れは正しくても、細かい年号や人名、出来事の順序が入れ替わっていることがあります。

「明治維新の流れ」のような大きなテーマは比較的正確ですが、「○○事件の発生年」のようなピンポイントの質問は要確認です。

比較的信頼できる（信頼度80-90%）

6. 一般的な知識・概念説明

「マーケティングとは何か」「AIの仕組み」のような、広く知られた概念の説明は比較的正確です。

ただし、「最新の」「日本独自の」といった限定条件が付くと、信頼度は下がります。

7. 文章作成・アイデア出し

メール文案、企画のアイデア、記事の構成案など、創作的なタスクは最もChatGPTが得意とする分野です。

ただし、これも「事実」を含む場合は別です。「競合他社の分析を含めた企画書」なら、競合情報の部分は必ず確認が必要です。

実践：信頼できる情報とできない情報の判断フロー

実際に有効な判断フローを紹介します。

ChatGPTの回答
↓
【質問1】固有名詞（人名・書籍・企業名など）は含まれているか？
YES → 検索で実在確認 → 見つからない → 使用不可
NO → 次へ

【質問2】数値データは含まれているか？
YES → 公式ソースで確認 → 一致しない → 使用不可
NO → 次へ

【質問3】専門的な内容か？（医療・法律・技術など）
YES → 専門家・公式ドキュメントで確認 → 矛盾がある → 使用不可
NO → 次へ

【質問4】2023年以降の情報か？
YES → 最新ソースで確認 → 古い/間違い → 使用不可
NO → 次へ

【質問5】この情報で判断を誤ると、損害が出る可能性は？
YES → 必ず複数ソースで確認
NO → 暫定的に使用可（念のため確認推奨）

このフローに従えば、重大なミスは防げます。

面倒に感じるかもしれませんが、冒頭のような失敗をするより、よほどマシです。しかも、慣れれば2-3分で確認できます。

まとめ：ChatGPTは「信じる」ものではなく「使う」もの

2年間、仕事でChatGPTを使い続けて学んだのは、「AIを過信しない」ことの重要性です。

ChatGPTは驚くほど便利なツールです。アイデア出し、文章作成、情報整理では圧倒的に効率が上がります。実際、この記事の構成もChatGPTと一緒に考えました。

でも、それは「使いこなす」ことが前提です。

事実は必ず確認する
専門的な判断は人間が行う
AIはあくまで「たたき台」を作るツール

この原則を守れば、ChatGPTは最高の仕事のパートナーになります。

この記事で紹介した方法を実践することで、ハルシネーションで問題を起こすリスクを大幅に減らせます。むしろ、確認癖がつくことで、AI以外の情報に対しても批判的に考えられるようになります。

最後に、もう一度強調したいのは、「ChatGPTが嘘をついている」わけではないということです。AIは統計的にもっともらしい文章を生成しているだけで、悪意はありません。

問題は、私たち人間が「もっともらしさ」に騙されてしまうこと。

この記事で紹介した見抜き方を身につければ、ChatGPTの回答の「どこを信じて、どこを疑うべきか」が見えてきます。

AIに振り回されるのではなく、AIを使いこなす側に回りましょう。