Cekura Bench

Cada prueba es una llamada de varios turnos por un recorrido real, así que la nota cubre detección de turnos, reconocimiento de habla, el modelo, las herramientas, síntesis de voz y transporte. Por eso es un benchmark de llamadas telefónicas y no una evaluación de texto. La mayoría de los agentes en producción son cascadas montadas sobre Vapi, Retell, ElevenLabs, LiveKit, Pipecat o Telnyx, y una prueba escrita nunca toca esas capas. Cekura Bench se ejecuta contra las seis plataformas y también contra modelos en tiempo real.

Quien llama es un modelo de lenguaje dentro de un arnés basado en acciones condicionales. Una prueba es un conjunto de reglas: cuando el agente pide la fecha de nacimiento, el interlocutor responde con una frase fija; cuando la respuesta se alarga, corta a los 1,2 segundos. Los fallos colocados caen donde dice la prueba, con silencios, tonos de teclado, audio pregrabado y pérdida de paquetes, de modo que cada modelo se enfrenta al mismo momento.

Los 82 escenarios se ejecutan tres veces. La tabla muestra la tasa de éxito y la tasa de las tres pasadas, que aquí llaman pass³. Cada cifra lleva un intervalo de confianza del 95%, y las filas cuyos intervalos se solapan cuentan como empate. Así una diferencia mínima no se lee como victoria.

Una llamada solo aprueba si pasa todas las comprobaciones, pero la tabla desglosa los fallos en medidas distintas: tarea completada, llamadas a herramientas y argumentos, interrupciones, coherencia del habla y transcripción, fallos de infraestructura, exactitud de los datos y tiempo de respuesta. Un modelo que pierde puntos por llamadas que no conectan no se parece a otro que guarda mal una dirección, y esa es la diferencia entre un problema de operador y uno de prompt.

El conjunto de escenarios, los guiones, los resultados esperados y las llamadas a herramientas están en un dataset versionado en Hugging Face con licencia CC BY 4.0. El arnés y el agente de referencia viven en un repositorio público, y se conservan el audio, los registros de eventos y las tramas para poder recalcular una nota. Las versiones publicadas del dataset quedan congeladas y las correcciones salen como versión nueva con su entrada en el registro de cambios.

La tabla de voz a voz cubre 12 modelos en tiempo real y una cascada de referencia a lo largo de 3.198 llamadas. El benchmark de agentes de voz puntúa nueve plataformas en 2.214 llamadas, 13 modelos en gestión de turnos, 20 modelos de reconocimiento de habla con 1.000 clips y llamadas reales, y 26 modelos de síntesis de voz con 30.564 peticiones. El coste por minuto usa la tarifa publicada de cada proveedor y queda en blanco cuando no hay tarifa.

Cekura declara que vende pruebas de IA de voz al mismo mercado que mide, y algunos proveedores clasificados son clientes o socios. Para compensarlo, las configuraciones se bloquean antes de puntuar, los proveedores tienen una ventana fija de revisión previa para señalar errores y las correcciones se registran en público. Se está formando un consejo asesor neutral que resuelve las disputas.