Hamming

Hamming은 에이전트에게 실제 테스트 통화를 건다. 억양과 배경 소음, DTMF 키 입력, IVR 트리가 함께 들어간다. 동시 5만 건 이상의 테스트 통화를 처리한다고 회사는 밝힌다. 수동 테스트 일정을 잡는 시간에 시나리오 전체를 끝낼 수 있다는 뜻이다. 결과는 시나리오별 통과 또는 실패로 오고, 녹취록과 다시 들을 수 있는 오디오가 붙는다.

에이전트의 시스템 프롬프트를 붙여 넣으면 Hamming이 그것으로 테스트 시나리오 초안을 쓴다. 정상 흐름과 경계 상황, 에이전트가 거절해야 할 질문까지 포함한다. 시나리오 수정과 추가는 사람이 한다. 생성된 묶음은 초안이지 블랙박스가 아니라는 점이 핵심이다. 이미 테스트 목록을 가진 팀은 가져와서 생성을 건너뛸 수 있다.

통화마다 50개 이상의 지표로 점수를 매긴다. 작업 완료, 사실 정확성, 지연, 말투가 포함된다. AI 음성 에이전트 평가에서 Hamming은 사람 평가자와의 일치율이 95~96퍼센트라고 밝힌다. 녹음을 전부 듣지 않고 통과율을 믿고 싶을 때 의미가 있는 숫자다. 환불 기한을 제대로 안내했는지처럼 자사 규칙에 맞춘 검사도 직접 만들 수 있다.

공격 묶음은 여러 운영 환경에서 관찰된 수법으로 만들어져 바로 돌릴 수 있다. 프롬프트 인젝션, 탈옥, 개인정보 노출, 정책 위반, 그리고 클리닉에서 걸었다고 말하는 식의 사회공학 대본까지 포괄한다. 발견된 문제는 재현 가능한 실패 테스트가 되므로, 막은 구멍은 막은 채로 남는다.

실제 통화를 24시간 지켜보며 행동 드리프트와 확인되지 않은 예약, 컴플라이언스 위험을 찾는다. 알림은 고객이 알아채기 전에 담당자를 깨울 수 있고, 버그를 잡은 경우와 지원 티켓을 받은 경우의 차이가 여기서 갈린다. OpenTelemetry를 기본 지원하므로 같은 트레이스가 팀이 이미 쓰는 관측 스택으로 흘러간다.

운영에서 난 실패는 클릭 한 번으로 상시 테스트가 된다. 이후 모든 릴리스가 그 테스트를 다시 돌린다. 이 순환이 제품의 핵심이다. 테스트 묶음은 기획 회의가 아니라 실제 사고에서 자라고, 음성 에이전트 모니터링의 범위는 누가 손으로 시나리오를 쓰지 않아도 넓어진다.