Okareo

Okareo가 돌리는 것은 Drivers, 곧 성격과 목표를 지닌 합성 사용자이지 고정 스크립트가 아니다. 이들은 여러 턴의 긴 대화를 나누며 아무도 적어 두지 않은 동작으로 새어 나간다. 이득은 커버리지다. 스크립트는 이미 짚은 것만 확인하지만, Driver는 예상하지 못한 경계를 드러낸다.

같은 Scenarios와 Checks 흐름이 음성, 텍스트, 헤드리스 에이전트를 아우른다. 음성 시뮬레이션은 전화번호, 음성 합성, 음성 인식, 녹음, 오케스트레이션을 맡는다. 에이전트만 가져오면 통화는 Okareo가 돌린다. 모달리티가 바뀌어도 팀은 도구를 갈아타지 않는다.

모든 통화가 오디오, 전사, 단계별 추적으로 같은 타임라인에 놓인다. 대화 디자이너가 잘못된 통화를 디버깅할 때도, 엔지니어가 실패한 도구 호출을 쫓을 때도 같은 화면을 본다. 장애 진단이 조율 문제가 아니게 된다.

Okareo를 CI에 연결하면 커밋마다 시나리오를 재생한다. judge, 기호 기반, 오디오 기반 Check가 대화를 채점하고, 어조나 정책, 라우팅을 나쁘게 만든 실행은 병합을 막을 수 있다. 샘플 몇 개를 훑는 방식에서, 크게 실패하는 게이트로 바뀐다.

출시 뒤에도 합성 사용자가 가동 중인 에이전트를 계속 더듬어, 실패가 일어나는 순간 잡는다. 범위 위반, 잘못된 도구 호출, 끊긴 흐름까지 포함한다. 평범한 관측 도구가 건강한 코드를 보여줄 때, 이것은 사용자가 눈치채기 전에 대화가 탈선하는 모습을 보여준다.

운영으로 새어 나간 실패는 다음 실행에서 새 합성 시나리오가 될 수 있다. 누군가 새 사례를 쓰지 않아도 테스트 자산이 시간에 따라 쌓인다. 오래 출시할수록 에이전트가 깨지기 어려워지는 이유다.