Cekura Bench
Cekura · 語音與語言 · 商業
Cekura Bench 是公開的評測計畫，讓語音對語音模型與已上線的語音代理跑完 82 通模擬電話，每種情境各三次，再公布通過率、延遲與每分鐘成本。
關於 Cekura Bench
What Is Cekura Bench
Cekura Bench 是由 Cekura 維護的公開排行榜。Cekura 販售語音代理的測試與監控工具，這份評測則針對即時語音模型與已經在跑的代理，用模擬電話打分，全程處理音訊，不看文字轉錄。
理由很直接：轉錄看起來完美，通話卻可能已經崩掉。代理在紀錄裡訂到正確時段，實際上卻搶話、聽錯生日，或在工具執行時整段沉默。Cekura Bench 把整條路徑收進同一個分數：輪流發言偵測、語音轉文字、模型本身、工具呼叫、語音合成與傳輸。
最大的限制是範圍。所有情境都是英文通話，只涵蓋兩個領域，預約排程與 Medicare 投保訪談，因此流程不同的團隊找不到自己的腳本。結果也是分批更新，剛發布的模型可能幾週後才上榜。
Getting Started
- 打開 benchmarks.cekura.ai，選一張表：語音對語音模型、語音代理工作流程、輪流發言、語音轉文字或語音合成。
- 先看可靠度欄位。pass³ 代表代理在三輪中都過關的情境比例，通過率則只計單次通話。
- 從 cekura-bench 儲存庫取得開放的測試框架，指向你的代理，跑一輪公開情境。
- 如果你開發模型或平台，把設定寄給 Cekura，就能用同一套規則受測。
產品資訊
快速了解 Cekura Bench 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 語音工程師：同一批情境、同一套計分，直接比較即時語音模型，不必只信廠商示範。
- 客服中心產品團隊：Medicare 題組會顯示牽涉法規資料的腳本哪裡會斷，通話內容含這類資訊時特別值得看。
- 平台供應商：可以送交設定，接受和其他模型相同的檢驗。
- 分析師與研究者：結果以 CC BY 4.0 發布，圖表與數字註明出處就能再利用。
任務
- 挑選語音對語音技術堆疊：榜上把預約通話與 Medicare 通話分開，哪個模型撐得住難的那一半一眼可見。
- 辦廠商評比：所有模型面對同一位來電者、同一批工具、同一個插話時間點。
- 抓延遲預算：中位數與 P90 回應時間是在來電者耳邊量的，不是模型內部量的。
- 排查輪流發言問題：專表在六種線路條件下量測句尾判定，包含強噪音。
情境
- 要為進線選定即時模型之前，選錯之後很難回頭。
- 供應商改價或推出新版本之後，因為每分鐘成本就和通過率並排。
- 線上客訴提到插話、空白或重複詢問，需要判斷問題在模型還是傳輸。
- 必須向不看通話紀錄的人解釋技術選擇的時候。
主要功能
整通電話用音訊跑完，不是文字
每個測試都是多輪通話，走真實線路，分數因此涵蓋輪流發言偵測、語音轉文字、模型、工具、語音合成與傳輸。這也是它被歸為電話通話評測、而非文字評測的原因。多數上線代理是串接在 Vapi、Retell、ElevenLabs、LiveKit、Pipecat 或 Telnyx 上的串聯架構，純文字測試碰不到這些層。Cekura Bench 對六個平台都跑，也直接對即時模型跑。
照規則行動的來電者
模擬來電者是大語言模型，跑在條件式動作的測試框架裡。一個測試就是一組規則：代理問生日，來電者照固定句子回答；回覆拖長，就在 1.2 秒時插話。故障點照測試安排落下，包括空白、按鍵音、預錄音訊與封包遺失，每個模型遇到的時間點都一樣。
pass³ 與信賴區間
82 個情境各跑三次。榜上同時給通過率與三輪全過的比例，後者叫 pass³。每個數字都附 95% 信賴區間，區間重疊的列視為平手，小差距不會被讀成勝出。
故障依環節拆開
一通電話要全部檢查過關才算通過，但榜面把失敗拆成不同指標：任務完成、工具呼叫與參數、插話處理、語句連貫與轉錄、基礎設施、資料正確度、回應時間。因為連線失敗而掉分的模型，和存錯地址的模型看起來完全不同，這正是營運問題與提示詞問題的差別。
開放資料與開放測試框架
情境、腳本、預期結果與工具呼叫都放在 Hugging Face 的版本化資料集，採 CC BY 4.0。測試框架與參考代理放在公開儲存庫，原始音訊、事件紀錄與影格都保留，分數可以重算。已發布的資料集版本會凍結，修正則以新版本發布並記入變更紀錄。
不只語音對語音
語音對語音那張表涵蓋 12 個即時模型與一條參考用串聯架構，共 3,198 通電話。語音代理評測涵蓋九個平台、2,214 通電話，輪流發言表有 13 個模型，語音轉文字表用 1,000 段音檔加真實通話測 20 個模型，語音合成表則以 30,564 次請求測 26 個模型。每分鐘成本採各廠商公開費率，沒有費率就留白。
可以查核的治理機制
Cekura 明白揭露：公司把語音 AI 測試賣給它所評測的市場，部分受評廠商是客戶或合作夥伴。為了抵銷這層關係，設定在計分前鎖定，廠商有固定的預審窗口可以指出錯誤，修正也公開記錄。獨立諮詢委員會正在籌組，負責處理爭議。
優缺點
優點
- 全程音訊，輪流發言與傳輸的失誤會計入分數，不會憑空消失。
- 所有模型面對相同情境、相同來電者行為與相同插話時間，廠商評比才有意義。
- 原始錄音與版本化資料集讓抱持懷疑的工程師能自行重算。
- 免費閱讀，結果可用於 CC BY 4.0 再利用，資料也能以 JSON 下載。
- 失敗指標按原因拆開，模型問題與流程問題分得清楚。
缺點
- 只有兩個領域，預約排程與 Medicare 投保，冷門流程沒有受測，自己的腳本仍得另建一套。
- Cekura 把測試工具賣給它評比的廠商，網站揭露了這層利益衝突，卻無法消除。
- 預期結果的評審提示詞與部分評分規準仍未公開，只有工具呼叫分數能完全重現。
- 不用自架測試框架的話，透過 Cekura 平台跑自己的代理，每分鐘測試收費 0.25 美元。
常見問題
Cekura Bench 是針對語音 AI 的公開評測。它對語音對語音模型與已上線代理發出模擬電話，公布通過率、延遲、每分鐘成本與每通失敗的細節。
相關內容
探索與 Cekura Bench 相關的工具、技能與文章。
Cekura Bench 替代方案
Foley
Hanamori Labs, LLC · 語音與語言 · 生產力 · AI 助理Foley 是一款語音待辦清單，把一句話變成歸檔好的任務，專案、日期與時間都先填好，接著再幫你依現有清單排出一整天的順序。
HireKey
HireKey · 語音與語言 · 生產力 · AI 學習HireKey 是由前科技業招募主管打造的 AI 求職副駕駛。它分析職缺契合度、客製化履歷、帶你練習面試，並把每份申請整理在同一處。
Fluence
Yay Software (Yannick Huchard) · 寫作 · 語音與語言 · 生產力Fluence 是 Android 上的文件閱讀器，能朗讀 PDF、EPUB、Word 檔與網路文章，逐句跟著語音標示，並在手機上直接回答你對內容的提問。