AIチャットボットのハルシネーション対策｜誤回答を減らす設計と運用

記事概要：生成AIのハルシネーション対策を、参照範囲、RAG、回答拒否、引用、ルール、有人レビュー、ログ監視の多層構造で説明します。誤回答の種類と原因を切り分け、公開前テストと本番運用で停止・修正する実務手順を示します。

生成AI ハルシネーション 対策は、プロンプトに『正確に答える』と書くだけでは成立しません。AIチャットボットの誤回答を、検索ミス、根拠の読み違い、根拠外の補完、古い情報、業務ルール違反に分け、各層で防ぎます。

誤回答の種類を記録する

事実と違う回答だけでなく、必要条件の欠落、別商品の混同、正しい文章に見えるが引用と一致しない回答、答えるべきでない個別判断、古い版の案内も誤回答です。評価ラベルは『正答／不十分／誤答／適切な拒否／不適切な拒否／引用不一致』程度に統一し、重大度を顧客被害と訂正可能性で分けます。件数だけでなく、どの経路で発生したかを残すと対策を選べます。

参照範囲と検索を制御する

RAGでは承認済み文書だけを索引化し、商品、契約、地域、公開範囲、発効日で検索結果を絞ります。古い文書や重複FAQを残したままでは、LLMはどちらが正しいか判断できません。質問に必要な文書が上位に入るかを先に評価し、検索漏れは同義語、メタデータ、分割、ハイブリッド検索、再順位付けで直します。RAGは根拠を与える手段であり、取得文書自体が誤っていれば誤答を強めることがあります。

回答拒否と引用を製品要件にする

根拠が見つからない、複数文書が矛盾する、本人確認後でないと答えられない、医療・金融判断に当たる場合は、回答を生成せず有人窓口へ誘導します。信頼度スコアだけに頼らず、禁止領域、必須文書、必須属性をルールで判定します。回答には文書名、該当箇所、更新日へのリンクを付け、利用者や担当者が検証できるようにします。引用が存在するだけでなく、その引用が結論を支えているかをテストします。

ルールと人を組み合わせる

金額、期限、対象条件、法定表現など誤りの影響が大きい項目は、生成文ではなく構造化データや定型テンプレートから差し込みます。新しい用件や低信頼の回答は公開前に担当者が承認し、顧客へ直接送る範囲を限定します。レビューでは全文を毎回読むのではなく、変更箇所、参照根拠、危険項目を強調します。人が頻繁に直す箇所は、個人の注意力ではなく文書やルールへ反映します。

Udeskを導入したSchneider Electricでも、24時間対応のAIチャットボットが簡単で反復性の高い問い合わせを受け持つ一方、ボットだけでは解決できない問い合わせは担当者へ振り分ける運用が採用されています。さらに、KCSナレッジベースを組み合わせることで、担当者が複雑な問い合わせに対してより正確な情報を参照できる環境を整えています。生成AIを顧客対応へ導入する場合も、すべてを自動回答へ置き換えるのではなく、AIが処理する範囲と人が判断する範囲をあらかじめ分け、その境界を運用の中で見直す設計が現実的です。

本番ログで検知し停止できる状態にする

公開後は低評価、有人転送、同じ質問の言い換え、再問い合わせ、特定文書への偏り、禁止語を監視します。重大な誤答は会話ID、モデル、プロンプト、検索結果、ナレッジ版を保存し、再現できるようにします。修正は一時的な回答停止、該当文書の無効化、検索設定変更、プロンプト変更の順に影響範囲を確認します。モデルやナレッジ更新の前後には固定テストを実行し、平均点だけでなく重大誤答ゼロをゲートにします。

重大度別の対応時間を決める

誤回答は、表示上の軽微な言い換え、手順の不足、料金・期限の誤り、個人情報や安全に関わる重大事象へ分類します。軽微なものは週次改善、不十分回答は翌営業日までにナレッジ確認、金額・期限の誤りは即時に該当用件を停止し、影響会話を抽出します。個人情報開示や危険な案内では全体停止、セキュリティ・法務への通知、顧客対応を優先します。SLAを設けることで、低評価を集めるだけの監視を避けられます。修正後は当該質問だけでなく、同じ文書を参照する関連質問、言い換え、他チャネルも回帰テストします。原因と修正、影響範囲、再発防止を記録し、重大事例はリリース前テストへ恒久的に追加します。

顧客向け表示を整える

回答画面には、AIによる案内であること、参照元、最終更新日、解決しない場合の有人窓口を明示します。確定情報と一般的な案内を視覚的に分け、長い免責文で重要条件を埋めません。顧客が低評価を送る際は理由を選べるようにし、誤り、分かりにくい、対象外、古い情報を分けて改善へ使います。

公開前の停止基準

検証から本番運用をUdeskでつなぐ

誤回答を減らすには、ナレッジだけでなく、AIが参照した文書、顧客へ示した回答、有人修正の結果を追跡できる基盤が必要です。UdeskはLLMナレッジベース、AIチャットボット、ルールベースの対話、有人引き継ぎ、チケット履歴、品質分析を組み合わせ、多層のハルシネーション対策を運用へ落とし込めます。

FAQ

Q．RAGを導入すれば誤回答はゼロになりますか？

A．ゼロにはなりません。検索漏れ、古い文書、根拠の誤読が残るため、拒否、引用、ルール、監視を併用します。

Q．信頼度が低い回答だけ止めれば十分ですか？

A．十分ではありません。高い信頼度でも根拠が誤っている場合があるため、禁止領域や必須文書をルールで確認します。

Q．本番で誤答が出たら何を保存しますか？

A．会話、検索結果、引用、ナレッジ版、モデル、設定、有人修正を保存し、同じ条件で再現できるようにします。

》》Udesk AI チャットボットの無料トライアルを開始するにはクリックし、メリットを実際にご体験ください

本記事はUdeskのオリジナルであり、転載する際は出典を明記してください：https://www.udesk.jp/blog/news/guide/6530/