AssemblyAI
AssemblyAI · ライティング · 音声・言語
AssemblyAIは、文字起こし、リアルタイム文字起こし、音声エージェントAPI、LLMゲートウェイを1組のAPIで開発者に提供する音声AIプラットフォームだ。
AssemblyAI について
About
AssemblyAIとは
AssemblyAIは、音声を文字にする、話された内容を理解する、自社製品の中で音声エージェントを動かす、という用途に向けた音声AIプラットフォームだ。文字起こし、音声理解、安全フィルター、言語モデルへのアクセスを1か所にまとめている。4社のベンダーをつなぎ合わせる手間が要らない。
会社は2017年にサンフランシスコで設立され、創業者のDylan Foxが率いる。モデルはGranola、Dovetail、LiveKitといったチームの製品を支え、開発者数は数十万人規模にのぼる。AssemblyAIは精度を売りにする。同社いわく、Universal-3.5 Proは実体認識で他社のASRモデルを上回り、幻覚はWhisperより30%少ない。
一番の制約は利用者層だ。AssemblyAIはAPI製品なので、開いて話しかけるアプリは存在しない。課金も従量制で、ストリーミングは接続が開いていた時間で課金される。流れた音声の長さではないため、待機中の接続を放置すると請求が膨らむ。
はじめ方
- AssemblyAIのダッシュボードで無料アカウントを作る。新規登録にはカード不要で50ドル分のクレジットが付く。
- モデルとエンドポイントを選ぶ。ファイルならUniversal-3.5 Pro、ライブ音声ならUniversal-3.6 Pro Realtime、会話全体なら音声エージェントAPIだ。
- APIキーを取得し、ドキュメント通りに最初のリクエストを送る。コードを書く前にPlaygroundでファイルを試してもよい。
- APIを自社アプリに組み込み、ダッシュボードで同時接続数と利用量を監視する。繁忙月の請求で驚かないためだ。
AIツール情報
AssemblyAIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 音声機能を作る開発者：AssemblyAIは文字起こし、音声理解、音声エージェントのループを1つのキーにまとめる。小さなチームでも4社をつながずに、話せる製品を出せる。
- スタートアップのプロダクトチーム：登録時の50ドル分クレジットと従量課金で、試作し、実際の数字を見てから拡張できる。席数課金の契約は要らない。
- 金融や医療の規制下のチーム：HIPAA、PCI、SOC 2、EUデータ保存が追加費用なしで付く。コンプライアンスがローンチの足かせにならない。
タスク
- 録音した会議の文字起こし：ファイル用エンドポイントは単語ごとのタイムスタンプ、話者ラベル、要約を返す。ノートツールや検索できるアーカイブに向く。
- 通話のリアルタイム文字起こし：ストリーミングモデルがターン検出と多言語音声を扱う。複数人が同時に話すコンタクトセンターやオペレーター支援で役立つ。
- 音声エージェントの構築：音声エージェントAPIは聞く、考える、話すを1つのWebSocketで実行する。音声認識と音声合成の配管を自分で管理せずに、電話やチャットのエージェントを作れる。
シーン
- 保管した通話をノートに変える：バッチリクエストが話者をラベル付けして文章を整える。そのままCRMやノートの流れに渡せる。
- 顧客の電話に自動応答する：音声エージェントが定型的な質問をさばき、例外は人に渡す。聞く側も答える側も同じプラットフォームで済む。
- 録音から機微な情報を消す：PIIマスキングがカード番号などの識別子を文字起こしから除く。金融や医療のアーカイブに合う。
主な機能
Universal 文字起こしモデル
Universal-3.5 Proは録音音声で最も精度の高いモデル、Universal-3.6 Pro Realtimeはライブ音声の旗艦だ。同社いわく、Universal-3.5 Proはカード番号や氏名といった実体認識で先行し、200ミリ秒未満の遅延で配信する。モデルはリクエストごとに選べ、APIはどれが動いたかを報告する。自分のバックエンドから呼ぶ文字起こしソフトであり、デスクトップアプリではない。
低遅延のストリーミング文字起こし
ストリーミングのエンドポイントはWebSocketで動き、ターン検出を担う。ライブの文字起こしが、相手が話し終えたタイミングを把握できる。Universal-3.6 Pro Realtimeは32言語に対応し、言語の切り替えもネイティブにこなす。話者分離もリアルタイムで行い、後処理なしで誰が話したかを付ける。字幕、ライブコーチング、会議アシスタントに向く。
音声エージェントAPI
音声エージェントAPIは、文字起こし、LLM、音声合成を1本のWebSocket接続に束ねる。終話ターンの検出と割り込み処理をサーバー側で行うので、エージェントが発信者の話を遮らない。下層のLLMや声は差し替えられ、AssemblyAIは構成要素ごとの個別課金ではなく、1分単位の一律料金で請求する。
音声理解の追加モジュール
生のテキストにとどまらず、AssemblyAIは話者識別、実体検出、感情分析、トピック検出、翻訳を用意する。基本料金に上乗せする追加モジュールなので、使った分だけ払う。翻訳は録音音声で100以上の翻訳先言語をカバーする。
機微な音声向けの安全フィルター
安全フィルターはPIIマスキング、暴言フィルター、コンテンツ審査を担う。カード番号をテキストから消す、音声でビープに置き換える、両方を行う、といった選び方ができる。顧客通話を録音して安全に保管する必要があるチームには重要だ。
LLMゲートウェイ
LLMゲートウェイは単一のエンドポイントで、5社の25以上の言語モデルを提供する。認証は文字起こしと同じキーを使う。プロバイダーの自動切り替えとプロンプトキャッシュを備え、AssemblyAIが終了した旧来の要約と自動チャプター機能を置き換える。
メリットとデメリット
メリット
- 文字起こし、音声理解、安全フィルター、音声エージェントが1つのキーに収まる。ほぼどの音声プロジェクトも最初に手をつなぐベンダー接続の手間が消える。
- 音声エージェントAPIの中でLLMや声を差し替えられる。モデルを変えても配管全体を書き直さずに済む。
- HIPAA、PCI、SOC 2、EUデータ保存が追加費用なしで付く。規制下のチームの後押しになる。
- 登録時の50ドル分クレジットと時間単位の課金で、契約前に実際の音声を試せる。
デメリット
- 消費者向けアプリがない。コードを書かない人には開いてすぐ使えるものが何もない。
- ストリーミングは接続時間で課金され、音声の長さでは課金されない。閉じ忘れた接続は金を食い続ける。
- 追加モジュールは基本料金に積み上がる。複数を同時に使うリクエストは時間単価が何倍にもなりうる。
- 最も安いストリーミングモデルは言語の範囲と精度に上限がある。品質の高い音声エージェントには高い方のプランが要る。
よくある質問
AssemblyAIは、文字起こしAPIを通じてソフトに音声認識と音声機能を足すために使う。通話や会議の文字起こし、話者や感情といった情報の抽出、機微な内容のマスキング、リアルタイムで応答する音声エージェントの運用に使われる。
関連コンテンツ
AssemblyAIに関連するツール、スキル、記事を探す。
AssemblyAIの代替ツール
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
MePersona
MePersona, Inc. · ライティング · 生産性向上 · マーケティングMePersonaはクリエイター向けのAI統合受信箱だ。あなたの話し方を学習し、12プラットフォームに届くファンメッセージの返信を下書きして、承認したものだけを送る。
Fluence
Yay Software (Yannick Huchard) · ライティング · 音声・言語 · 生産性向上Fluence は Android 向けのドキュメントリーダーだ。PDF、EPUB、Word 文書、ウェブ記事を読み上げ、発話中の文を画面で追わせ、本文についての質問にも端末上で答える。