Roark

대부분의 도구는 녹취를 LLM으로 채점하고 끝낸다. Roark는 통화 자체에 전용 음성 모델을 돌린다. 녹취가 놓치는 것, 이를테면 발음, 억양의 명료함, 목소리의 긴장, 말의 속도, 끼어들기 대응을 측정할 수 있는 이유다. 제품이 곧 목소리인 팀에게 이 차이는 크다. 녹취는 'metoprolol'이 잘못 발음됐다는 사실을 끝내 보여주지 않는다.

모든 통화는 500개 넘는 지표로 채점되고 음성, 대화, 규정 준수, 성능 네 묶음으로 나뉜다. 대화 지표는 해결, 공감, 과업 성공, 환각, 말투를 다룬다. 규정 준수는 고지 사항, 개인정보 노출, 본인 확인, 대본 준수를 추적한다. 자체 기준을 쓸 수도 있고, Roark가 매 통화에서 자동으로 채점한다. 음성 지표는 통화 자체에 모델을 돌리기 때문에 이 정도로 세밀하게 나온다.

출시 전에 실제 통화 유형으로 만든 수백 건의 모의 발신자에게 에이전트를 돌린다. 통화 시뮬레이션은 실제 PSTN과 WebRTC를 타므로 고객이 쓰는 것과 같은 회선 경로를 시험한다. 레드팀 발신자는 일부러 에이전트를 깨뜨리려 한다. 정책이 공격 아래에서 버티는지는 그때 드러난다. 화난 사람, 횡설수설하는 사람, 끼어드는 사람이 있다.

에이전트가 배포되면 Roark가 들어오는 통화를 한 건씩 채점하고 발견한 실패를 기록한다. 콜센터 AI 품질 워크플로에서는 몇 건을 표본으로 뽑는 대신 모든 대화에 음성이 붙은 점수가 달린다는 뜻이다. 임계값을 넘으면 Slack이나 웹훅으로 알림이 가고, 대시보드에서 에이전트별, 버전별 추세를 본다. OpenTelemetry 트레이스가 대화를 턴 단위 스팬으로 나눠 한 문제를 루프 전체에서 따라갈 수 있다.

제품은 하나의 루프를 축으로 짜였다. 운영에서 실패를 잡고, 수정안을 모의 발신자에게 재생하고, 차이를 검토한 뒤, 운영 통화에서 지표가 움직였는지 확인한다. Roark는 실패한 통화를 근거로 프롬프트 수정안을 작성한다. 문구가 원인이 아닐 때는 모델, 목소리, 인프라 교체를 제안한다. 변경은 하나씩 승인한다. 루프는 팀의 통제 아래 남는다.

Roark는 Vapi, Retell, LiveKit, Pipecat을 비롯한 주요 음성 스택에 연결하고 SDK, REST API, MCP 서버, CLI를 제공한다. 공개 리더보드인 Roark Live Bench는 음성 인식, 언어 모델, 음성 엔진의 조합을 실제 전화망으로 호출해, 내 통화를 채점하는 것과 같은 엔진으로 처음부터 끝까지 채점한다.

Roark는 SOC 2 Type II를 보유하고 종량제를 포함한 모든 요금제에서 HIPAA BAA를 제공한다. 엔터프라이즈는 SCIM 프로비저닝을 갖춘 SSO와 SAML, 역할 기반 접근, IP 허용 목록, 데이터 상주, 서명된 DPA를 더한다. 회사는 연례 침투 테스트를 한다고 밝힌다. 벤더가 고객 음성을 만지기 전의 보안 검토는 보통 이걸 요구한다.