Cekura Bench

Chaque test est un appel à plusieurs tours sur un vrai chemin téléphonique, donc la note couvre la détection des tours, la reconnaissance vocale, le modèle, les outils, la synthèse vocale et le transport. C'est ce qui en fait un benchmark d'appels téléphoniques et non une évaluation de texte. La plupart des agents en production sont des cascades montées sur Vapi, Retell, ElevenLabs, LiveKit, Pipecat ou Telnyx, et un test écrit ne touche jamais ces couches. Cekura Bench tourne sur les six plateformes et aussi directement sur les modèles temps réel.

L'appelant est un modèle de langue installé dans un harnais à actions conditionnelles. Un test est un ensemble de règles : quand l'agent demande la date de naissance, l'appelant répond par une phrase fixe ; quand la réponse s'étire, il coupe à 1,2 seconde. Les pannes arrivent là où le test les place, silence, tonalités de clavier, audio préenregistré et perte de paquets, si bien que chaque modèle affronte le même moment.

Les 82 scénarios passent trois fois. Le tableau donne le taux de réussite et le taux des trois passages, appelé pass³. Chaque chiffre est accompagné d'un intervalle de confiance à 95 %, et les lignes dont les intervalles se chevauchent comptent comme ex æquo. Un petit écart ne se lit donc pas comme une victoire.

Un appel ne réussit que si toutes les vérifications passent, mais le tableau répartit les échecs en mesures distinctes : tâche accomplie, appels d'outils et arguments, interruptions, cohérence de la parole et transcription, incidents d'infrastructure, exactitude des données et temps de réponse. Un modèle qui perd des points sur des appels non aboutis ne ressemble pas à celui qui enregistre une mauvaise adresse, et c'est la différence entre un problème d'exploitation et un problème de prompt.

Le jeu de scénarios, les scripts, les résultats attendus et les appels d'outils vivent dans un dataset versionné sur Hugging Face sous CC BY 4.0. Le harnais et l'agent de référence sont dans un dépôt public, et l'audio brut, les journaux d'événements et les trames sont conservés pour recalculer une note. Les versions publiées du dataset sont figées, et les corrections sortent en nouvelle version avec une entrée au changelog.

Le tableau parole à parole couvre 12 modèles temps réel et une cascade de référence sur 3 198 appels. Le benchmark d'agents vocaux note neuf plateformes sur 2 214 appels, 13 modèles sur la gestion des tours, 20 modèles de reconnaissance vocale sur 1 000 extraits et de vrais appels, et 26 modèles de synthèse vocale sur 30 564 requêtes. Le coût à la minute reprend le tarif publié par chaque fournisseur et reste vide quand aucun tarif n'existe.

Cekura déclare vendre des tests d'IA vocale au marché même qu'il mesure, et certains fournisseurs classés sont clients ou partenaires. Pour compenser, les configurations sont verrouillées avant la notation, les fournisseurs disposent d'une fenêtre fixe de relecture pour signaler des erreurs, et les corrections sont journalisées en public. Un conseil consultatif neutre est en cours de formation pour arbitrer les litiges.