Cekura Bench

Jeder Test ist ein Telefonat mit mehreren Turns über einen echten Pfad, deshalb deckt die Note Turn-Erkennung, Spracherkennung, das Modell, Werkzeuge, Sprachsynthese und Transport ab. Genau das macht Cekura Bench zu einem Telefonbenchmark und nicht zu einer Textprüfung. Die meisten Agents im Betrieb sind Kaskaden auf Vapi, Retell, ElevenLabs, LiveKit, Pipecat oder Telnyx, und ein schriftlicher Test berührt diese Schichten nie. Cekura Bench läuft gegen alle sechs Plattformen und direkt gegen Echtzeitmodelle.

Der simulierte Anrufer ist ein Sprachmodell in einer Testumgebung auf Basis bedingter Aktionen. Ein Test besteht aus Regeln: Fragt der Agent nach dem Geburtsdatum, antwortet der Anrufer mit einem festen Satz. Wird die Antwort lang, unterbricht er nach 1,2 Sekunden. Fehler landen dort, wo der Test sie platziert, also Stille, Tastentöne, vorab aufgenommene Audiodateien und Paketverlust. So trifft jedes Modell auf denselben Moment.

Die 82 Szenarien laufen dreimal. Die Tabelle nennt die Erfolgsquote und die Quote der drei bestandenen Läufe, hier pass³ genannt. Jede Zahl trägt ein Konfidenzintervall von 95 Prozent, und Zeilen mit überlappenden Intervallen gelten als gleichauf. Ein kleiner Abstand liest sich damit nicht als Sieg.

Ein Anruf besteht nur, wenn jede Prüfung besteht, doch die Tabelle trennt Fehler in eigene Maße: erledigte Aufgabe, Werkzeugaufrufe samt Argumenten, Unterbrechungen, Kohärenz der Sprache und Transkription, Infrastruktur, Genauigkeit der gespeicherten Daten und Antwortzeit. Ein Modell, das durch nicht zustande gekommene Verbindungen Punkte verliert, sieht anders aus als eines, das die falsche Adresse speichert. Das ist der Unterschied zwischen einem Betriebsproblem und einem Prompt-Problem.

Szenarien, Skripte, erwartete Ergebnisse und Werkzeugaufrufe liegen in einem versionierten Datensatz auf Hugging Face unter CC BY 4.0. Testumgebung und Referenz-Agent stehen in einem öffentlichen Repository, und Rohaudio, Ereignisprotokolle und Frames bleiben erhalten, damit sich eine Note nachrechnen lässt. Veröffentlichte Datensatzversionen sind eingefroren, Korrekturen erscheinen als neue Version mit Eintrag im Changelog.

Der Speech-to-Speech-Benchmark umfasst 12 Echtzeitmodelle plus eine Referenzkaskade über 3.198 Anrufe. Der Voice-Agent-Benchmark bewertet neun Plattformen über 2.214 Anrufe, 13 Modelle beim Turn-Taking, 20 Spracherkennungsmodelle an 1.000 Clips und echten Anrufen sowie 26 Sprachsynthesemodelle an 30.564 Anfragen. Die Kosten pro Minute stammen aus der veröffentlichten Preisliste des Anbieters und bleiben leer, wo keine Rate existiert.

Cekura legt offen, dass das Unternehmen Tests für Sprach-KI an denselben Markt verkauft, den es vermisst, und dass einige bewertete Anbieter Kunden oder Partner sind. Zum Ausgleich werden Konfigurationen vor der Bewertung gesperrt, Anbieter erhalten ein festes Zeitfenster für eine Vorprüfung, und Korrekturen werden öffentlich protokolliert. Ein unabhängiger Beirat wird derzeit gebildet und soll Streitfälle entscheiden.