Cekura Bench

Cada teste é uma ligação de vários turnos por um caminho real, então a nota cobre detecção de turnos, reconhecimento de fala, o modelo, as ferramentas, síntese de voz e transporte. É por isso que se trata de um benchmark de chamadas telefônicas, e não de uma avaliação de texto. A maioria dos agentes em produção é uma cascata montada sobre Vapi, Retell, ElevenLabs, LiveKit, Pipecat ou Telnyx, e um teste escrito nunca encosta nessas camadas. O Cekura Bench roda contra as seis plataformas e também contra modelos em tempo real.

Quem liga é um modelo de linguagem dentro de um harness baseado em ações condicionais. Um teste é um conjunto de regras: quando o agente pede a data de nascimento, o interlocutor responde com uma fala fixa; quando a resposta se estende, ele corta em 1,2 segundo. As falhas plantadas caem onde o teste manda, com silêncio, tom de teclado, áudio gravado e perda de pacotes, de modo que todo modelo encara o mesmo momento.

Os 82 cenários rodam três vezes. A tabela mostra a taxa de acerto e a taxa das três rodadas, que aqui chamam de pass³. Cada número vem com intervalo de confiança de 95%, e linhas com intervalos sobrepostos contam como empate. Isso impede que uma diferença pequena seja lida como vitória.

Uma ligação só passa se todas as checagens passarem, mas a tabela separa as falhas em medidas distintas: tarefa concluída, chamadas de ferramenta e argumentos, interrupções, coerência da fala e transcrição, falhas de infraestrutura, exatidão dos dados e tempo de resposta. Um modelo que perde ponto por ligação que não conecta é diferente de outro que salva o endereço errado, e essa é a diferença entre um problema de operação e um problema de prompt.

O conjunto de cenários, os roteiros, os resultados esperados e as chamadas de ferramenta ficam em um dataset versionado no Hugging Face sob CC BY 4.0. O harness e o agente de referência estão em um repositório público, e o áudio bruto, os logs de eventos e os quadros são guardados para permitir recálculo. Versões publicadas do dataset ficam congeladas, e correções saem como versão nova com registro no changelog.

A tabela de fala para fala cobre 12 modelos em tempo real mais uma cascata de referência ao longo de 3.198 ligações. O benchmark de agentes de voz pontua nove plataformas em 2.214 ligações, 13 modelos em gestão de turnos, 20 modelos de reconhecimento de fala em 1.000 clipes e ligações reais, e 26 modelos de síntese de voz em 30.564 pedidos. O custo por minuto usa a tarifa publicada de cada fornecedor e fica em branco quando não existe tarifa.

A Cekura declara que vende testes de IA de voz para o mesmo mercado que mede, e alguns fornecedores classificados são clientes ou parceiros. Para compensar, as configurações são travadas antes da pontuação, os fornecedores têm uma janela fixa de revisão prévia para apontar erros e as correções ficam registradas em público. Um conselho consultivo neutro está sendo formado para resolver disputas.