Voila

Voila는 들으면서 동시에 말할 수 있다. 이 점이 순번제 비서와 갈리는 지점이다. 자율 모델은 당신의 음성 스트림과 자기 출력을 병렬로 처리하므로 맞장구를 치고, 끼어들면 받아 주고, 사람처럼 말을 겹친다. 실제로 딱딱한 문답 왕복이 진짜 통화에 가까운 주고받기로 바뀐다. 팀도 이렇게 말한다. 반응만 하는 게 아니라 먼저 말을 꺼내는 모델을 만들고 싶다고.

사양 맨 앞에 놓인 숫자는 발화가 끝난 뒤 응답이 시작되기까지 195밀리초다. 기준을 대 보면, 사람은 보통 200에서 300밀리초 안에 답한다. Voila는 저지연 음성 모델로서 사람 속도이거나 그보다 빠르다. 이게 중요한 이유는 지연이야말로 음성 비서를 기계처럼 느끼게 만들기 때문이다. 값이 낮은 건 글자 사슬을 빼고 음성을 곧바로 모델링하기 때문이고, 세 부품이 서로 일을 넘기며 쌓이는 멈춤이 잘린다.

목소리는 두 갈래로 다듬는다. 써 넣은 지시문이 페르소나와 말투, 말버릇을 정한다. 시스템 프롬프트와 비슷하다. 별도의 음성 클립은 화자의 음색을 모델에 익힌다. 길이는 몇 초에서 몇 시간까지 괜찮다. 이 요령으로 팀은 100만 개가 넘는 완성된 목소리를 미리 만들어 뒀다. 직접 학습시키지 않고 기존 목소리를 골라도 된다. 10초짜리 견본이면 시작할 수 있다.

같은 모델이 대화, 텍스트 음성 변환, 음성 인식을 처리한다. 작업마다 다른 버전을 만들 필요가 없다. 음성 번역은 가벼운 미세 조정으로 가능해지고, 통째로 다시 만들지 않아도 된다. 개발자 입장에서는 세 서비스를 이어 붙이는 대신 체크포인트 하나와 코드베이스 하나만 관리하면 된다. 부품을 맞추느라 드는 시간과 인프라 비용이 줄어드는, 그런 정리다.

전부 열려 있다. 가중치와 코드는 Maitrix.org 조직 아래 Hugging Face와 GitHub에 있고, 누구나 내려받아 돌리고 고칠 수 있다. 연구에 가장 큰 매력인 대목이다. 블랙박스로 다루지 않고 시스템이 어떻게 움직이는지 확인할 수 있다. 분당 청구도 없고, 발밑에서 조건을 바꾸는 벤더도 없다.

Voila는 다국어 텍스트와 음성으로 학습했고 여섯 개 언어를 다룬다. 영어, 중국어, 프랑스어, 독일어, 일본어, 한국어다. 이 언어들에서 이해와 생성 모두 처리하므로 대화가 언어 사이를 오갈 수 있다. 시장을 여러 곳에 두는 팀에게 이 폭은 지역마다 모델을 따로 세우는 수고를 덜어 준다.