잭 도시가 이끄는 블록이 사람의 대화 음성만으로 학습한 음성 모델 데사를 공개했다. 목소리를 글자로 바꿨다가 다시 합성하는 기존 방식을 버린 모델이라, 말투와 감정 표현에서 차이가 난다. 다만 아직 일반 사용자는 써볼 수 없다.
블록이 공개한 데사는 어떤 모델인가
블록이 10월 23일 자체 연구 조직에서 개발한 음성 모델 데사(Dessa)를 내놨다. 스퀘어와 캐시앱을 운영하는 결제 회사가 왜 음성 모델을 만드는지 의아할 수 있다. 답은 매장에 있다. 스퀘어는 이미 음식 주문을 받는 일에 음성 AI를 쓰고 있고, 그 호출을 자체 모델로 처리하면 단가가 내려간다.
데사의 차별점은 학습 데이터에 있다. 기존 음성 AI는 목소리를 문자로 옮기고, 문자 모델이 답을 만들고, 그 답을 다시 목소리로 합성하는 세 단계를 거친다. 블록은 이 사슬을 건너뛰고 사람이 주고받은 대화 음성만으로 모델을 처음부터 학습시켰다고 밝혔다. 사전 학습된 언어 모델을 얹지 않았다는 설명도 붙였다.
회사가 내세우는 논리는 이렇다. 말에는 글자로 옮기는 순간 사라지는 정보가 있다. 한숨, 망설임, 말끝을 흐리는 방식, 웃음이 섞인 문장 같은 것들이다. 데사는 그 층위를 처음부터 데이터에 포함해 학습했다는 주장이다.
문자를 거치지 않는 학습이 만드는 차이
시연 영상에서 데사는 퇴근한 뒤 피곤하다고 말하면서 실제로 지친 목소리를 낸다. 다른 영상에서는 깜짝 여행 이야기를 듣고 울먹이는 듯 고맙다고 답한다. 연기 지시를 받은 배우가 아니라, 대화 데이터에서 그런 말투를 익힌 모델이라는 게 블록의 설명이다.
부작용도 따라온다. 지식은 대화 말뭉치 안에 있는 만큼만 남는다. 일반 음성 비서처럼 외부 검색이나 대형 언어 모델을 붙여 답을 만드는 구조가 아니라고 회사는 말한다. 날씨나 주가를 묻는 용도로는 아직 힘이 약하다는 뜻이다. 블록은 이 한계를 숨기지 않았고, 대화 자체의 자연스러움에 무게를 뒀다.
풀 듀플렉스, 끼어들 수 있어야 대화다
데사는 말하는 동시에 듣는다. 풀 듀플렉스(full duplex)라고 부르는 방식으로, 상대가 말을 끝낼 때까지 기다리지 않고 중간에 반응하거나 끼어들 수 있다. 오픈AI가 올해 공개한 음성 모델도 같은 방향을 택했다.
이 기능이 왜 중요한지는 통화를 떠올리면 이해가 빠르다. 사람끼리는 상대가 말하는 도중에 맞장구를 치고, 말이 길어지면 끊는다. 그 리듬이 없으면 목소리가 아무리 비슷해도 녹음 파일을 재생하는 느낌이 남는다. 데모에서 인상적인 대목도 이 리듬이다.
M4 맥스 맥북에서 돌아간다는 의미
블록은 데사가 맥북 프로 M4 맥스 이상에서 로컬로 실행된다고 밝혔다. 테크크런치는 모델 학습에 엔비디아 GPU 서버 랙 한 대가 쓰였다고 전했다. 학습은 서버에서, 추론은 개인 노트북에서 하는 구성이다.
이 조합이 실무에서 갖는 값은 호출 단가다. 매장 카운터에서 주문을 받는 음성 응답은 하루에도 수천 번 발생한다. 그때마다 외부 API를 부르면 비용이 쌓인다. 기기에서 직접 돌리면 그 항목이 사라지고, 음성 데이터가 외부로 나가지 않는다는 부수 효과도 생긴다. 결제 회사에는 후자가 더 중요할 수 있다.
로컬 실행은 기기 성능에 묶인다. M4 맥스 이상이라는 조건은 최신 고가 노트북을 뜻한다. 그렇다면 계산대 옆 단말에서도 같은 목소리가 나올까? 블록은 이 질문에 아직 답하지 않았다. 매장 장비를 새로 깔아야 한다면 절감 효과는 상당 부분 상쇄된다.
데사를 아직 써볼 수 없는 이유
지금 공개된 것은 시연 음성과 대기 명단뿐이다. API도, 모델 가중치도, 가격표도 없다. 블록은 소수의 AI 안전 연구자에게 먼저 접근 권한을 주고 위험을 살피겠다고 밝혔다. 회사가 내건 개발 동기는 호기심, 사람과 기계의 이해 개선, 안전 세 가지다.
목소리가 진짜 같아질수록 커지는 위험
음성이 사람과 구분되지 않을수록 사기와 사칭에 쓰일 여지도 커진다. 가족 목소리를 흉내 낸 전화로 송금을 요구하는 수법은 이미 국내에서도 문제가 됐다. 결제 회사가 음성 모델을 직접 만들면 이 위험을 자기 서비스 안에서 떠안게 된다.
블록이 안전 연구자에게 먼저 문을 연 것도 이 지점과 맞닿아 있다. 음성 에이전트가 전화 반대편 사람을 얼마나 쉽게 속이는지 먼저 재보겠다는 해석이 나온다. 회사는 이 해석을 공식적으로 확인하지 않았다.
블록이 음성 모델을 직접 만드는 이유
음성 인터페이스는 결제 사업과 맞물린다. 매장 주문, 예약, 고객 응대는 모두 짧은 대화로 처리된다. 범용 모델을 빌려 쓰면 응답이 느리고 단가가 높으며, 대화 데이터가 외부로 나간다. 세 가지를 한 번에 잡으려면 자체 모델이 필요하다는 계산이다.
경쟁 구도도 있다. 음성 AI 시장에는 오픈AI와 여러 스타트업이 이미 들어와 있다. 블록은 성능 1등을 다투기보다 자기 사업에 필요한 대화 품질과 비용을 확보하는 쪽을 택한 것으로 읽힌다.
지금 확인된 것과 확인되지 않은 것
공개된 자료는 회사가 직접 만든 시연 영상이다. 제3자 평가나 공개 벤치마크는 없다. 블록이 말한 자연스러움의 수준은 아직 회사 주장의 영역에 머문다. 모델 크기, 학습 데이터 규모, 응답 지연 시간 같은 수치도 공개되지 않았다.
확인된 사실은 세 가지다. 음성만으로 학습했다는 설계, 풀 듀플렉스 대화, 맥북에서의 로컬 실행이다. 나머지는 시연을 직접 듣고 판단할 문제로 남는다. 데모가 잘 만든 표본인지, 평균적인 대화도 그렇게 나오는지는 대기 명단이 열린 뒤에야 확인된다. 대기 명단이 열려 있는 동안 다음 공개는 성능 검증 자료가 될 가능성이 크다.
