Customer Service& Support Blogボイスボットの音声認識精度を評価する方法｜PoCで確認すべき項目
記事概要：ボイスボットの音声認識精度を、文字一致だけでなく意味理解、項目取得、タスク完了、有人転送で評価します。固有名詞、数字、住所、雑音、方言、割り込み、無音、言い直しを含む実回線PoCと合格基準の作り方を解説します。
本記事の目次
ボイスボット 音声認識 精度は、文字起こしの一致率だけでは業務品質を示しません。『東京都港区』が多少違う表記でも正しく住所欄へ入れば成功し、数字を一桁誤って予約を登録すれば、会話が自然でも失敗です。
四段階で精度を測る
音声認識は発話を文字列へ変換できたか、意味理解は用件や肯定・否定を正しく判定したか、項目取得は氏名・番号・日時を正しい欄へ格納したか、タスク完了は予約や受付を正しく完了したかです。文字誤り率だけを上げても、意図分類やAPI登録が誤れば顧客タスクは失敗します。評価ログには音声、認識文、意図、抽出項目、シナリオ経路、処理結果を対応付け、どの段階で崩れたかを特定します。
テスト発話を条件別に作る
固有名詞は商品、地名、人名、略称、旧名称。数字は電話番号、日付、時刻、金額、桁区切り。住所は都道府県省略、番地、建物名を含めます。環境条件は駅・車・店内の雑音、携帯回線、スピーカー、声量、早口、方言、高齢者を用意します。会話条件は割り込み、無音、言い直し、途中訂正、複数用件、曖昧な肯定を含めます。台本朗読だけでなく、参加者に目的だけを渡す自由発話を入れます。
| 評価層 | 指標 | 代表テスト |
| 文字化 | 文字・単語の一致 | 固有名詞、数字、住所 |
| 意味理解 | 意図認識率 | 否定、複数用件、言い直し |
| 項目取得 | 必須項目正確率 | 桁、日時、建物名 |
| 業務完了 | タスク完了率、誤登録率 | 予約・受付の正常／異常系 |
| 顧客体験 | 聞き返し、放棄、転送 | 雑音、無音、割り込み |
実回線PoCを段階的に行う
録音ファイルによる基礎テストで辞書と認識モデルを調整し、次に実際の電話回線で遅延、エコー、切断を確認します。その後、社内利用者、限定顧客、対象比率を絞った本番の順に広げます。同じ発話を複数回実行し、結果の揺れも記録します。生成AI型の対話は、モデルと設定の版、温度等の条件を固定します。失敗時には何回聞き返し、どの文言で有人転送・折り返しへ切り替えるかもテスト対象です。
UdeskがCapital Metro向けに構築した北京地下鉄96123サービスホットラインでも、実際の利用環境では背景雑音に加え、似た駅名、地域ごとのアクセント、数字と漢字が混在する発話への対応が課題となっていました。そこでUdeskは音声認識と自然言語処理を組み合わせたVoicebotを構築し、路線や運賃などの問い合わせに対応しています。公開事例では、運用開始後の音声カスタマーサービスにおける認識精度は90％を超えています。こうした事例からも、音声AIのPoCでは静かな環境での認識率だけでなく、実際の回線や雑音、固有名詞、利用者ごとの発話差を含めて評価することが欠かせません。
指標と合格基準
意図認識率＝正しい用件判定数÷対象発話数、項目正確率＝正しく取得した必須項目数÷全必須項目数、タスク完了率＝正常完了セッション÷対象セッション、有人転送率＝有人転送÷対象セッションで計算します。聞き返し回数、誤登録率、放棄率、平均通話時間も併記します。全体平均だけでなく、住所や本人確認など高リスク項目は別基準にし、誤登録ゼロまたは有人確認必須とします。
精度改善は失敗原因ごとに行う
専門語が文字化されない場合は辞書や認識モデル、似た用件を混同する場合は質問文と意図分類、項目の桁違いは復唱・チェックディジット、雑音は音声品質と聞き返し、API登録失敗は入力検証とリトライを見直します。人が何度も言い直す経路は自動化範囲を縮小します。一度に複数設定を変えず、変更前後を固定セットで比較します。本番では認識不能だけでなく、転送後の再説明と再入電を監視します。
評価データの作り方
本番録音を使う場合は利用目的、社内規程、委託範囲を確認し、氏名や番号を匿名化します。ただし匿名化で評価したい固有名詞が消える場合は、同じ音韻・桁構造の合成データへ置き換えます。各条件の件数をそろえ、通常音声だけが多数を占めないよう層化します。評価者は正解の用件、必須項目、最終処理を確認し、聞き取りにくい原音は「AIの失敗」と一方的に判定せず、人でも判別不能かを別ラベルにします。PoC結果には対象人数、端末、回線、雑音、言語、シナリオ版を記録します。ベンダー間比較では同一データを使い、チューニング前と後の両方を示すと、初期性能と運用による改善余地を分けて判断できます。
改善後の再評価
辞書登録でテスト語だけが改善しても、未知の氏名や住所へ一般化するとは限りません。調整に使わなかった最終セットで再評価し、通常・雑音・高齢者など条件別に結果を出します。認識率が上がっても聞き返しや通話時間が悪化していないか確認し、本番では新しい失敗発話を月次で追加します。
音声PoCの最小セット
| 確認項目 | 合格条件 |
| 数字 | 電話番号、日付、時刻、金額を各条件で読み上げ、桁を照合する |
| 固有語 | 人名、地名、商品・旧名称、略語を未知語を含めて試す |
| 環境 | 携帯、スピーカー、雑音、早口、方言、高齢者を層化する |
| 会話 | 割り込み、無音、言い直し、否定、複数用件を含める |
| 異常系 | 認証失敗、API停止、切断時に誤登録せず有人・折返しへ渡す |
| 再現性 | 同じ条件を複数回試し、結果の揺れとモデル・設定版を記録する |
| 顧客体験 | 聞き返し、沈黙、割り込み制御、完了案内を実利用者が評価する |
| 費用 | チューニング前後の工数、通話従量、有人転送後の時間を集計する |
電話と有人対応をUdeskでつなぐ
音声認識PoCを業務結果まで評価するには、通話音声、認識テキスト、対話経路、チケット、CRM更新、有人転送を同じセッションで追う必要があります。Udeskはボイスボット、クラウド型コールセンター、問い合わせ管理、ナレッジ、品質分析を連携し、認識精度とタスク完了率を分けて改善できます。
FAQ
Q．文字起こし精度が高ければ導入できますか？
A．できません。意図、必須項目、タスク完了、誤登録、有人転送まで評価します。
Q．会議室でのデモで十分ですか？
A．不十分です。実回線、雑音、携帯、方言、言い直し、割り込みを含む自由発話で試します。
Q．聞き返しは少ないほどよいですか？
A．適切な確認は誤登録を防ぎます。回数だけでなく、必要な聞き返しと無駄な聞き返しを分けます。
》》Udesk 音声チャットボットの無料トライアルを開始するにはクリックし、メリットを実際にご体験ください
本記事はUdeskのオリジナルであり、転載する際は出典を明記してください：https://www.udesk.jp/blog/news/guide/6525/
