Deepgram Voice AI
Deepgram · 音声・言語
Deepgramは音声をテキストに、テキストを音声に変換し、リアルタイムの音声エージェントをひとそろいのAPIで動かす音声AIプラットフォームだ。
Deepgram Voice AI について
About
Deepgramとは
Deepgramは、自社プロダクトに音声認識と音声合成を組み込みたい開発者向けの音声AIプラットフォームだ。音声アプリの「聞く」「考える」「話す」をまとめて担うので、別々のベンダーを組み合わせる手間がいらない。
会社は2015年、ミシガン大学の機械学習研究から生まれた。現在は20万人を超える開発者がモデルを使い、TwilioやCloudflareといったパートナーも同じAPIの上に音声機能を載せている。同社によれば、基盤は5万年分を超える音声を処理してきたという。
最大の制約は利用者層にある。これはAPIありきの製品で、開いて話しかけるアプリではない。コードを書かない人向けの日常的な画面は用意されていない。料金も利用量に連動するため、トラフィックが多い場合は公開前にコストを丁寧に見積もる必要がある。
はじめ方
- Deepgram Consoleで無料アカウントを作る。新規アカウントには200ドル分のクレジットが付き、クレジットカードは不要だ。
- モデルとエンドポイントを選ぶ。ライブ音声ならストリーミングの音声認識、ファイルなら事前録音、会話全体なら音声エージェントAPIを選ぶ。
- APIキーを取得し、ドキュメント通りに最初のリクエストを送る。コードを書く前にPlaygroundで声を試してもいい。
- 自分のアプリやエージェントにAPIを組み込み、Consoleで利用量を監視してコストを抑える。
AIツール情報
Deepgram Voice AIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 音声機能を作る開発者。Deepgramは音声認識、音声合成、エージェントの制御を1つのキーにまとめるので、小さなチームでも複数ベンダーを抱えずに話すプロダクトを出せる。
- 成長中のスタートアップのプロダクトチーム。従量課金プランは無料で始められるため、年4,000ドルのGrowthプランに踏み切る前にプロトタイプを作り、実際の利用データを集められる。
- コンプライアンス要件のある企業。SOC 2、HIPAA、EUデータレジデンシーの選択肢とセルフホストのコンテナは、銀行や医療のチームに合う。ただし購買手続きを進められることが条件だ。
タスク
- 通話のリアルタイム文字起こし。ストリーミングモデルは発話の交代や割り込みを検知するので、発言が重なり合うサポート窓口や会議ツールに向く。
- 音声ファイルの一括テキスト化。事前録音エンドポイントはアップロードしたファイルを文字起こしし、必要なら話者分離、伏せ字、要約も加える。保管や分析に使える。
- 音声エージェントの会話。音声エージェントAPIは聞く・考える・話すを1本のWebSocket接続で回すので、各サービスを継ぎ合わせずに電話やチャットのエージェントを組める。
シーン
- 録音した会議を議事録にする。事前録音のリクエストが話者をラベル付けした整形済みの文字起こしを返すので、そのまま議事録ワークフローに流せる。
- 顧客の電話に自動で応答する。音声エージェントが定型的な質問を処理し、際どいケースは人に引き継ぐ。聞く側も話す側も同じプラットフォームで済む。
- 通話アーカイブから機密情報を除く。伏せ字機能がカード番号などの個人情報を文字起こし保存前に取り除くので、規制業種で役立つ。
主な機能
音声スタックを1つのプラットフォームで
Deepgramは音声認識API、音声合成、エージェント制御を1つのアカウントと1つのAPIキーにまとめる。課金、上限、モデルを単一のConsoleで管理でき、3つのベンダーを突き合わせる必要はない。素早く出したいチームにとって、統合作業が大きく減る。
Nova-3とFluxの音声認識
Nova-3はDeepgramの汎用文字起こしモデルで、Fluxは発話交代の検知を内蔵し、リアルタイムの音声エージェント専用に作られている。どちらも多言語の音声、背景ノイズ、遠隔収音に対応する。モデルは自社で学習しており、だからこそDeepgramは精度と遅延を売りにしている。
低遅延の音声合成
合成側はAura-1、Aura-2、そして新しいFlux TTSをそろえる。DeepgramはFlux TTSを会話用途向けとして、遅延は最短80ミリ秒と説明する。声を選んで発信者に音声を返し、料金は分単位ではなく1,000文字ごとに課金される。ここが音声合成APIの中核にあたる。
音声エージェントAPI
音声エージェントAPIは1本のWebSocket接続で会話の1サイクルを回す。聞き取り、テキストをLLMに渡し、返答を読み上げる。LLMや音声合成を持ち込めばコストを下げられ、割り込みと発話交代はDeepgramが処理するので、エージェントが利用者を遮らない。
オーディオインテリジェンスの追加機能
素の文字起こしに加え、Deepgramは要約、トピック検出、感情分析、意図認識を用意する。これらは自社の小型モデルで動くため、同じテキストを汎用LLMに通すより安く、録音した会話から答えを引き出す助けになる。
クラウド、EU、セルフホストの導入
Deepgramは米国のクラウドから呼び出せるほか、データレジデンシーのためにEUエンドポイントへ振り分けたり、自前のGPUでセルフホストのコンテナを動かしたりできる。この幅があることで、規制業種のチームはモデルを変えずに音声を自社網内に留められる。
メリットとデメリット
メリット
- 音声認識、音声合成、エージェントのツールが同じAPIの下にそろい、ほぼどの音声プロジェクトも最初に挟むベンダー間の接続作業を減らせる。
- 実秒単位の課金で短い音声が切り上げられないため、処理した音声の長さちょうどを支払うことになる。
- 登録時の200ドルのクレジットに有効期限がなく、締め切りを気にせず何か月もプロトタイプを作れる。
- 多言語モデルとEUデータレジデンシーにより、グローバルなチームもプラットフォームを離れずに選択肢を持てる。
デメリット
- 一般消費者向けアプリがないため、コードを書かない人は開いてすぐ使えるものが何もない。
- 従量課金は予測しにくい。忙しい月は請求が跳ね上がり、Growthプランは4,000ドルの先払い前提が要る。
- 最も安いプランは同時接続数に上限があり、トラフィックの多い本番運用は上位プランに上げるまで抑えられることがある。
- セルフホストには自前のNVIDIA GPUが必要で、小さなチームには実質的なコストと運用負担になる。
よくある質問
Deepgramはソフトウェアに音声認識と音声合成を加えるために使う。いわば音声認識ソフトの中核で、通話の文字起こし、読み上げ返答の生成、リアルタイムで質問に答える音声エージェントの運用に活用されている。
関連コンテンツ
Deepgram Voice AIに関連するツール、スキル、記事を探す。
Deepgram Voice AIの代替ツール
Foley
Hanamori Labs, LLC · 音声・言語 · 生産性向上 · AIアシスタントFoleyは音声ToDoリストだ。話した一文をプロジェクト・日付・時刻まで入ったタスクとして整理し、その後はすでにあるリストを軸に一日の順番を組み立てる。
HireKey
HireKey · 音声・言語 · 生産性向上 · 学習HireKey は元テック業界リクルーターが作った AI 求職コパイロット。求人適合分析、職務経歴書のカスタマイズ、面接練習、応募管理を一つの画面にまとめる。
Fluence
Yay Software (Yannick Huchard) · ライティング · 音声・言語 · 生産性向上Fluence は Android 向けのドキュメントリーダーだ。PDF、EPUB、Word 文書、ウェブ記事を読み上げ、発話中の文を画面で追わせ、本文についての質問にも端末上で答える。