Cekura Bench
Cekura · 音声・言語 · ビジネス
Cekura Benchは、音声対音声モデルと実運用中の音声エージェントに82件の模擬通話を各3回実行させ、成功率、遅延、1分あたりのコストを公開するベンチマークだ。
Cekura Bench について
What Is Cekura Bench
Cekura Benchは、音声エージェント向けのテストと監視ツールを販売するCekuraが運営する公開リーダーボードだ。リアルタイム音声モデルと稼働中のエージェントを模擬通話で採点し、文字起こしではなく音声を最初から最後まで扱う。
理由は単純である。文字起こしが完璧でも、通話そのものが崩れることはある。記録上は正しい時間帯を予約していても、実際には発話に被せ、生年月日を聞き間違え、ツールの実行中に黙り込む。Cekura Benchは、ターン検出、音声認識、モデル、ツール呼び出し、音声合成、伝送までを一つの点数にまとめる。
最大の制約は範囲だ。シナリオはすべて英語の通話で、扱う領域は予約受付とMedicareの受付の二つしかない。独自のスクリプトを持つチームは、自分の業務そのものを一覧で見つけられない。結果の更新もまとめて行われるため、出たばかりのモデルは数週間掲載されないことがある。
Getting Started
- benchmarks.cekura.aiを開き、音声対音声モデル、音声エージェントのワークフロー、ターン検出、音声認識、音声合成のいずれかの表を選ぶ。
- まず信頼性の列を読む。pass³は全3回を通過したシナリオの割合を示し、成功率は1回ごとの通話を数える。
- cekura-benchリポジトリから公開ハーネスを取得し、自分のエージェントに向けて公開シナリオを実行する。
- モデルやプラットフォームを開発している場合は、設定をCekuraに送れば他と同じ規則で採点される。
AIツール情報
Cekura Benchの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 音声AIのエンジニア：同じシナリオと同じ採点基準でリアルタイム音声モデルを比べられる。ベンダーのデモだけを信じる必要はない。
- コンタクトセンターの製品チーム：Medicareの設問群は、規制対象の情報を含むスクリプトがどこで破綻するかを示す。
- プラットフォーム事業者：設定を提出すれば、すでに掲載されているモデルと同じ扱いを受けられる。
- アナリストや研究者：結果はCC BY 4.0で公開されており、出典を明記すれば図表や数値を再利用できる。
タスク
- 音声対音声の構成を選ぶ：予約の通話とMedicareの通話が分けて集計されるため、難しい側に耐えるモデルが分かる。
- ベンダー比較を組む：呼びかけ役、ツール、割り込みのタイミングがすべてのモデルで同一になる。
- 遅延の予算を詰める：応答時間の中央値とP90は、モデル内部ではなく発話者の耳元で測る。
- ターン検出の不具合を切り分ける：専用の表が6種類の回線条件で発話終了の判定精度を測る。強い騒音も含む。
シーン
- 着信回線にリアルタイムモデルを採用する前。選び直しの費用が大きい局面で効く。
- ベンダーが価格を変えたときや新しいモデルを出したとき。1分あたりのコストが成功率の隣に並ぶ。
- 本番の苦情が割り込み、無音、聞き返しに触れていて、原因がモデルか伝送かを判断したいとき。
- 通話ログを読まない相手に技術選定を説明する必要があるとき。
主な機能
文字ではなく音声で通話全体を測る
各テストは実際の回線を通る複数ターンの通話であり、点数はターン検出、音声認識、モデル、ツール、音声合成、伝送を覆う。だからこれは電話通話ベンチマークであって、文字の評価ではない。本番のエージェントの多くはVapi、Retell、ElevenLabs、LiveKit、Pipecat、Telnyx上に組んだカスケードで、文字だけのテストはその層に触れない。Cekura Benchは6つのプラットフォームすべてを対象にし、リアルタイムモデルも直接動かす。
プロンプトではなく規則で動く発話者
模擬発話者は、条件付きアクションのハーネスに入った言語モデルだ。テストは規則の集合である。エージェントが生年月日を尋ねたら決まった一文で答え、応答が長引いたら1.2秒で遮る。無音、キー音、録音済み音声、パケット損失といった障害はテストの指定位置に置かれるため、どのモデルも同じ瞬間に遭遇する。
信頼区間つきのpass³
82のシナリオを3回ずつ実行する。表は成功率と、3回すべて通った割合であるpass³を並べる。数値には95%信頼区間が付き、区間が重なる行は引き分けとして扱う。小さな差が勝利として読まれることはない。
失敗を層ごとに分ける
すべての検査を通った通話だけが合格だが、表は失敗を別の指標に分解する。タスク完了、ツール呼び出しと引数、割り込み、発話の一貫性と文字起こし、基盤障害、保存データの正確さ、応答時間である。接続失敗で点を落とすモデルと、住所を誤って保存するモデルは姿が違う。運用の問題かプロンプトの問題かが、そこで分かれる。
公開データと公開ハーネス
シナリオ、スクリプト、期待される結果、ツール呼び出しは、Hugging Face上のバージョン管理されたデータセットにCC BY 4.0で置かれている。ハーネスと参照エージェントは公開リポジトリにあり、生音声、イベントログ、フレームは再計算できるよう保存される。公開済みのデータセット版は凍結され、修正は新しい版として変更履歴に記録される。
音声対音声以外の表
音声対音声の表は12のリアルタイムモデルと参照用カスケードを3,198通話で扱う。音声エージェントベンチマークは9プラットフォームを2,214通話で、ターンの表は13モデルを、音声認識の表は20モデルを1,000クリップと実通話で、音声合成の表は26モデルを30,564リクエストで採点する。1分あたりのコストは各社の公開料金を使い、料金がなければ空欄になる。
検証できる運営体制
Cekuraは、自社が測る市場に音声AIテストを売っていること、採点対象の一部が顧客やパートナーであることを明示する。その上で、設定は採点前に固定し、ベンダーには誤りを指摘できる事前確認の期間を等しく与え、修正は公開で記録する。紛争を裁く中立の諮問委員会は現在準備中だ。
メリットとデメリット
メリット
- 音声を端から端まで扱うため、ターン検出や伝送の失敗が消えずに点数へ響く。
- シナリオ、発話者の振る舞い、割り込みの時点が全モデルで同一なので、ベンダー比較に意味が出る。
- 生の録音とバージョン管理されたデータセットがあり、懐疑的なエンジニアでも数値を再計算できる。
- 閲覧は無料で、結果はCC BY 4.0で再利用でき、データはJSONで取得できる。
- 失敗の指標が原因別に分かれており、モデルの問題と構成の問題を区別できる。
デメリット
- 領域は予約受付とMedicare受付の二つだけで、ニッチな業務は未検証のままだ。自社スクリプトには別のスイートが要る。
- Cekuraは採点対象のベンダーにテストツールを売っている。サイトは利益相反を開示しているが、解消はできない。
- 期待結果を判定するプロンプトと一部の評価基準は非公開で、完全に再現できるのはツール呼び出しの点数だけだ。
- 自前のハーネスを使わずCekuraのプラットフォームで実行すると、1分あたり0.25ドルの費用がかかる。
よくある質問
音声AI向けの公開ベンチマークだ。音声対音声モデルと稼働中の音声エージェントに模擬通話をかけ、成功率、遅延、1分あたりのコスト、失敗の内訳を公開する。
関連コンテンツ
Cekura Benchに関連するツール、スキル、記事を探す。
Cekura Benchの代替ツール
Foley
Hanamori Labs, LLC · 音声・言語 · 生産性向上 · AIアシスタントFoleyは音声ToDoリストだ。話した一文をプロジェクト・日付・時刻まで入ったタスクとして整理し、その後はすでにあるリストを軸に一日の順番を組み立てる。
HireKey
HireKey · 音声・言語 · 生産性向上 · 学習HireKey は元テック業界リクルーターが作った AI 求職コパイロット。求人適合分析、職務経歴書のカスタマイズ、面接練習、応募管理を一つの画面にまとめる。
Fluence
Yay Software (Yannick Huchard) · ライティング · 音声・言語 · 生産性向上Fluence は Android 向けのドキュメントリーダーだ。PDF、EPUB、Word 文書、ウェブ記事を読み上げ、発話中の文を画面で追わせ、本文についての質問にも端末上で答える。