Roark

Die meisten Werkzeuge benoten ein Transkript mit einem LLM und das war es. Roark lässt speziell gebaute Audiomodelle auf dem Anruf selbst laufen. Dadurch kann es messen, was das Transkript verliert: Aussprache, Akzentklarheit, Stimmspannung, Tempo und den Umgang mit Unterbrechungen. Für ein Team, dessen Produkt die Stimme ist, zählt dieser Unterschied, denn ein Transkript zeigt nie, dass "Metoprolol" falsch ausgesprochen wurde.

Jeder Anruf wird gegen mehr als 500 Metriken bewertet, aufgeteilt in Audio, Gespräch, Compliance und Leistung. Die Gesprächsmetriken decken Lösung, Empathie, Aufgabenerfolg, Halluzination und Ton ab. Die Compliance-Metriken verfolgen Pflichtangaben, Offenlegung personenbezogener Daten, Identitätsprüfung und Skripttreue. Sie können auch ein eigenes Raster schreiben, und Roark bewertet es automatisch in jedem Anruf.

Vor dem Start prüfen Sie den Agenten gegen Hunderte simulierte Anrufer, die aus Ihren echten Anruftypen gebaut sind. Es gibt den Wütenden, den Abschweifenden und den Unterbrecher. Die Simulation läuft über echtes PSTN und WebRTC, sie nimmt also denselben Netzweg wie ein Kunde. Red-Teaming-Anrufer versuchen den Agenten absichtlich zu brechen, so zeigt sich, ob die Richtlinie unter Angriff hält.

Ist der Agent live, bewertet Roark jeden Anruf beim Eingang und erfasst die gefundenen Fehler. In einem Workflow für KI-Qualität im Callcenter heißt das: jedes Gespräch wird bewertet statt einer Handvoll Stichproben, mit dem Audio dahinter. Alarme lösen bei jeder Metrikschwelle nach Slack oder einen Webhook aus, und Dashboards zeigen den Trend je Agent und Version. OpenTelemetry-Traces teilen das Gespräch in Abschnitte je Turn, so verfolgen Sie ein Problem durch die ganze Schleife.

Das Produkt dreht sich um eine Schleife. Fehler im Betrieb fangen, die Korrektur gegen simulierte Anrufer nachspielen, das Diff prüfen und dann bestätigen, dass die Metrik in echten Anrufen gestiegen ist. Roark entwirft belegte Prompt-Änderungen aus den fehlerhaften Anrufen. War der Wortlaut nie das Problem, schlägt es Wechsel bei Modell, Stimme oder Infrastruktur vor. Sie bestätigen jede Änderung, die Schleife bleibt also unter Ihrer Kontrolle.

Roark verbindet sich mit den wichtigsten Sprachinfrastrukturen, darunter Vapi, Retell, LiveKit und Pipecat, und liefert ein SDK, eine REST API, einen MCP-Server und eine CLI. Seine öffentliche Rangliste, Roark Live Bench, ruft jede Kombination aus Spracherkennung, Sprachmodell und Stimmmotor über das echte Telefonnetz an und bewertet sie von Anfang bis Ende mit derselben Engine, die Ihre Anrufe bewertet.

Roark ist nach SOC 2 Type II zertifiziert und bietet einen HIPAA-BAA in jedem Plan, auch im Pay-as-you-go. Enterprise ergänzt SSO und SAML mit SCIM-Provisionierung, rollenbasierten Zugriff, IP-Whitelisting, Datenresidenz und einen unterzeichneten DPA. Das Unternehmen sagt, es führe jährliche Penetrationstests durch, was eine Sicherheitsprüfung meist verlangt, bevor ein Anbieter an Kunden-Audio kommt.