ボイスボットの音声認識精度を評価する方法｜PoCで確認すべき項目

記事概要：ボイスボット 音声認識 精度を正しく評価するには、静かな録音だけでなく、携帯回線、騒音、方言、固有名詞、言い直しなど実際の利用環境を想定したPoCが必要です。本記事では、AI電話 聞き取り 精度の評価方法、氏名・住所・専門用語の項目別認識率、業務完了率との切り分け、音声認識 チューニングの考え方まで、導入前に確認すべきポイントを解説します。

ボイスボット 音声認識 精度を評価するとき、静かな会議室で用意した音声だけを使うと、本番運用で起こる聞き取りミスを見落としやすくなります。PoCでは実際の電話環境を再現し、氏名や住所、専門用語を正しく取得できるかだけでなく、最終的に手続きまで完了できるかを確認する必要があります。

音声認識精度は「きれいな録音」だけでは判断できない

音声認識そのものの精度を測る指標としては、正解テキストと認識結果を比較するWERが広く使われています。ただし、実際のボイスボットでは認識モデル単体ではなく、電話回線、周囲の雑音、話し方、対話設計なども結果に影響します。Google Cloudの音声認識ドキュメントでも、実際の利用場面を代表する音声データで評価することが推奨されています。

そのためPoCでは、パソコンから流した明瞭な音声だけで「認識率95％」といった結果を出しても十分ではありません。AI電話 聞き取り 精度を判断するなら、実際に利用する電話回線から発信し、本番に近い条件で試験する必要があります。

PoCで必ず試したい音声条件

特に確認したいのは、認識しやすい文章ではなく、業務上間違えると後工程に影響する情報です。

背景雑音や周囲の会話、話し方の違いは認識結果に影響するため、こうした条件を含めて評価することが欠かせません。

氏名・住所・専門用語は項目別に認識率を測る

電話受付では、文章全体がほぼ正しく文字起こしされていても、氏名や住所を一文字間違えれば業務上は失敗になることがあります。

そこで、全体の認識精度とは別に「氏名認識率」「住所認識率」「電話番号認識率」「商品名認識率」のように項目単位で集計します。

例えば氏名を100件入力し、完全一致が92件なら氏名の項目別認識率は92％です。同様に住所や商品名も個別に測定します。特に顧客照合や予約登録に利用する情報では、多少の誤認識を許容する文章認識とは評価基準を分けた方が実態を把握できます。

認識率と業務完了率を分けて評価する

PoCで見落とされやすいのが、音声認識が成功しても業務が完了するとは限らない点です。

例えば住所を一度誤認識しても、ボイスボットが「〇〇市〇〇町でよろしいでしょうか」と確認し、利用者が修正できれば手続き自体は完了できます。一方、認識結果が正しくても、質問の意味が分かりにくく途中離脱が増えれば実運用では使いにくくなります。

そのため、少なくとも次の二つを別々に記録します。

項目別認識率は、対象情報を正しく認識できた件数を試験件数で割って算出します。業務完了率は、予約、受付、本人確認など想定した業務を最後まで完了できた通話数を全試験通話数で割って確認します。

この二つを分けることで、問題が音声認識にあるのか、対話フローにあるのかを判断しやすくなります。

言い直しと曖昧な回答も試験する

実際の電話では、利用者が最初から決められた形式で話すとは限りません。「えっと」「ちょっと待ってください」といった間や、「三丁目、すみません、四丁目です」といった訂正も発生します。

PoCでは正常な回答だけでなく、途中で言い直す、質問に長く答える、複数情報を一度に話す、聞き返すといったケースも含めます。

特に確認したいのは、訂正前と訂正後のどちらをシステムが採用するかです。認識エンジンが正しく文字起こしできても、対話制御が古い情報を残してしまえば受付内容は誤ったままになります。

音声認識チューニングは誤認識の傾向から行う

PoCで問題が見つかった場合、すぐに音声認識エンジン全体の精度不足と判断するのではなく、何を間違えているかを分類します。

商品名や専門用語に誤りが集中しているなら、辞書や固有語登録などの音声認識 チューニングを検討します。数字の聞き取りが弱ければ入力確認の方法を変え、住所で間違いが多ければ都道府県、市区町村、番地を分割して尋ねる方法もあります。

音声認識の評価では、挿入、削除、置換といった誤りを分けて確認する方法が一般的で、誤りの種類を見ることで改善対象を絞り込みやすくなります。

PoCは本番運用と同じ条件で繰り返す

PoCの目的は最高の認識率を示すことではなく、自社の電話業務で許容できる精度かを確認することです。実際の利用者層、電話回線、受付内容を想定したテストセットを作り、改善前後で同じ条件を使って比較すると判断しやすくなります。

また、音声認識だけでなく、聞き返し回数、途中離脱率、有人転送率、業務完了率まで確認すれば、「聞き取れるか」から「実際に任せられるか」へ評価を進められます。UdeskのようにAI電話対応と有人サポートを組み合わせられる仕組みであれば、PoCでは認識できないケースをどの時点で有人対応へ切り替えるかまで含めて設計することが大切です。

FAQ

Q:ボイスボットの音声認識精度は何％あれば十分ですか

A:一律の基準はありません。業務内容によって許容できる誤りが異なるため、全体の認識率だけでなく、氏名や住所など必須項目の正答率と業務完了率から判断します。

Q:方言もPoCで確認する必要がありますか

A:利用者に地域的な偏りがある場合は確認した方がよいでしょう。標準語だけでテストすると、本番開始後に特定地域の利用者だけ聞き返しが増える可能性があります。

Q:音声認識チューニングでどこまで改善できますか

A:商品名や専門用語など、誤認識の対象が明確な場合は改善を検討できます。ただし、騒音や対話設計に原因がある場合は、辞書登録だけでは解決できないため、PoCで原因を切り分けることが先になります。

》》Udesk 音声チャットボットの無料トライアルを開始するにはクリックし、メリットを実際にご体験ください

本記事はUdeskのオリジナルであり、転載する際は出典を明記してください：https://www.udesk.jp/blog/news/guide/5916/