代表的な音声クリップを選ぶ
本番環境で想定される言語、マイクの品質、話者の発話の重なりを含む録音を選びます。人が確認した正解用の文字起こしを作成し、不確かな単語は推測で埋めずに、その不確かさが分かるように残してください。
モデルの選定
Deepgramの音声テキスト変換モデルの評価方法
Deepgramの音声テキスト変換モデルを評価する際は、実際に使用する音声と必要な文字起こしから始めると判断しやすくなります。このガイドでは、準備事項、サンプルテスト、ワークフローを決める前に確認すべきトレードオフを説明します。
準備事項
Deepgramの結果を比較する前に、実際の用途を代表する音声を集めてください。クリアなスタジオ録音だけでは、実際のワークフローで生じる条件にモデルがどう対応するかは分かりません。
一通りの評価手順
モデルの比較は、最初に読みやすく見えた文字起こしだけで判断せず、繰り返し実施できるテストとして扱ってください。
同じ音声を各候補モデルに入力する
各結果で使用したDeepgramのモデルとリクエスト設定を記録します。前処理の条件をそろえ、同じ録音の処理済みファイルと未処理ファイルを比較しないでください。
影響の大きい誤りを確認する
名前、数字、否定表現、話者の交代を正解用の文字起こしと照合します。文字起こしに修正が必要かどうかを記録し、結論を出す前に複数のクリップでテストを繰り返してください。
選択肢の比較表
以下は2つの評価方法であり、すべてのDeepgramモデルが同一の設定に対応しているという意味ではありません。現在利用可能なモデルとリクエストのオプションは、公式ドキュメントで確認してください。
録音済み音声の評価
ライブ音声の評価
1
入力元
録音済み音声の評価
保存済みのファイルまたは録音
ライブ音声の評価
セッション中に届く音声
2
主な評価項目
録音済み音声の評価
完成した文字起こしの精度はどの程度か？
ライブ音声の評価
発話が続いている間の結果はどの程度役立つか？
3
正解データ
録音済み音声の評価
クリップ全体を人が確認した文字起こし
ライブ音声の評価
人が確認した文字起こしとタイミングに関するメモ
4
確認すべきエラー
録音済み音声の評価
抜けた単語、名前、話者の切り替わり
ライブ音声の評価
修正、抜けた単語、確定テキストの遅延
5
ネットワーク状況
録音済み音声の評価
ドキュメントの転送と処理の条件
ライブ音声の評価
通信の中断や接続状況の変動をテストする
6
判断基準
録音音声の評価
完成した文字起こし結果の修正にかかる手間
ライブ音声の評価
途中結果と最終結果の使いやすさ
うまくいかない点
誤解を招くモデル比較を避ける
単一の明瞭な音声クリップ、一貫性のないリクエスト設定、または検証されていない正解データによって、Deepgramの結果が実際より良くも悪くも見えることがあります。自分にとって重要な音声でテストし、特定のモデルを前提に設計する前に、現在の機能を確認してください。以下のリンク先は別の音声製品であり、Deepgramのモデル選択画面ではありません。
- 整えられたサンプルだけでは、ノイズの多い実際の音声を評価できません。
- 読みやすい文字起こしでも、名前や否定表現が間違っていることがあります。
- 録音音声での結果から、ライブ音声での性能は判断できません。
よくある質問
まず、文字起こしする音声の種類と言語を確認します。Deepgramの最新のドキュメントで利用可能なモデルを調べ、一貫した設定を使って、対象を代表する音声クリップを人が確認した正解データと比較してください。
録音やワークフローによっては、そうとは限りません。用途に合う候補を自分の音声で比較し、特に文字起こしの意味を変えてしまう誤りに注意してください。
元の音声素材と正解の文字起こしは再利用できますが、評価するポイントは異なります。ライブ音声では、途中結果やその修正、利用可能な最終テキストが届くタイミングも確認してください。
名前、数字、否定表現、話者の交代、人による修正がどれだけ必要かを確認してください。タイミングが重要な場合は、全体的な精度の印象だけに頼らず、別途評価してください。
いいえ。これは評価ガイドです。音声ツールへのリンク先は別の製品です。特定のモデルを確認して実行するには、Deepgramの最新のドキュメントと対応インターフェースを参照してください。