Cekura Bench

각 테스트는 실제 회선을 타는 여러 턴의 통화다. 그래서 점수가 턴 감지, 음성 인식, 모델, 도구, 음성 합성, 전송을 모두 포함한다. 이 점이 Cekura Bench를 전화 통화 벤치마크로 만든다. 문자 평가와는 다르다. 운영 에이전트 대부분은 Vapi, Retell, ElevenLabs, LiveKit, Pipecat, Telnyx 위에 얹은 캐스케이드이고, 문자 테스트는 그 계층을 건드리지 않는다. Cekura Bench는 여섯 플랫폼 모두와 실시간 모델을 직접 상대로 돌아간다.

모의 발화자는 조건부 액션 하네스 안에 들어간 언어 모델이다. 테스트는 규칙의 묶음이다. 에이전트가 생년월일을 물으면 정해진 문장으로 답하고, 응답이 길어지면 1.2초에 끼어든다. 무음, 키패드음, 미리 녹음한 음성, 패킷 손실 같은 장애는 테스트가 지정한 위치에 떨어진다. 모든 모델이 같은 순간을 겪는다.

82개 시나리오를 세 번씩 돌린다. 표는 성공률과 세 번 모두 통과한 비율인 pass³를 함께 보여준다. 모든 수치에 95% 신뢰구간이 붙고, 구간이 겹치는 행은 무승부로 처리한다. 작은 차이가 승리로 읽히지 않는다.

모든 검사를 통과해야 통화가 합격이지만, 표는 실패를 별도 지표로 쪼갠다. 과업 완료, 도구 호출과 인자, 끼어들기, 발화 일관성과 전사, 인프라 장애, 저장 데이터 정확도, 응답 시간이다. 연결 실패로 점수를 잃은 모델과 주소를 잘못 저장한 모델은 모습이 다르다. 운영 문제와 프롬프트 문제가 갈리는 지점이다.

시나리오, 스크립트, 기대 결과, 도구 호출은 Hugging Face의 버전 관리 데이터셋에 CC BY 4.0으로 있다. 하네스와 참조 에이전트는 공개 저장소에 있고, 원본 음성과 이벤트 로그, 프레임은 다시 계산할 수 있게 보관한다. 공개된 데이터셋 버전은 동결되고, 수정은 새 버전과 변경 기록으로 나온다.

음성 대 음성 표는 실시간 모델 12개와 참조용 캐스케이드를 3,198건의 통화로 다룬다. 음성 에이전트 벤치마크는 플랫폼 9개를 2,214건으로, 턴 표는 모델 13개를, 음성 인식 표는 모델 20개를 1,000개 클립과 실제 통화로, 음성 합성 표는 모델 26개를 30,564건의 요청으로 채점한다. 분당 비용은 각 사의 공개 요율을 쓰고 요율이 없으면 비워 둔다.

Cekura는 자기가 측정하는 시장에 음성 AI 테스트를 판매한다는 점, 채점 대상 일부가 고객이나 파트너라는 점을 밝힌다. 대신 설정은 채점 전에 고정하고, 벤더에게는 오류를 지적할 사전 검토 기간을 똑같이 주며, 수정은 공개 기록으로 남긴다. 분쟁을 판정할 중립 자문위원회는 현재 구성 중이다.