Sesame

Sesame의 핵심은 Conversational Speech Model, 즉 CSM 모델이다. 대화의 이력을 읽고 말하면서 억양과 타이밍, 강조를 조정하는 단일 단계 시스템이다. 학습에는 약 100만 시간의, 주로 영어 오디오를 썼다. 맥락을 주지 않으면 청자가 그 출력을 사람 목소리와 확실히 구분하지 못했다고 회사는 밝힌다. 하지만 주변 대화까지 들리면 이 격차는 다시 벌어진다. 그래서 팀은 운율을 계속 다듬는다.

Sesame는 중립적인 목소리 하나가 아니라 작은 출연진을 싣는다. 초기 프리뷰는 Sesame Maya와 Sesame Miles가 중심이었고 Maya는 따뜻하고 Miles는 건조하다. 이후 빌드에 Simone과 Charlie가 더해져 맞는 목소리를 고를 수 있다. 각 목소리는 스타일 프리셋이 아니라 고유한 성격을 지닌 AI 음성 에이전트로 움직인다. 에이전트마다 목소리와 관점을 지켜서, 전환은 슬라이더를 옮기는 일이 아니라 대화 상대를 바꾸는 감각에 가깝다.

Sesame 에이전트는 답만 하지 않는다. 질문하면 웹을 검색하고, 새 빌드는 대화가 흐르는 동안 메모를 만들고 알림을 걸고 요점을 요약한다. 목표는 다른 앱으로 옮기지 않고 계속 말하게 하는 것이다. 그래서 방해가 될 만한 작은 일을 에이전트가 대신한다.

최근 빌드는 액티비티 탭을 더한다. 여기서 일을 넘기면 에이전트가 뒤에서 처리한다. Tasks와 Schedules는 여행 계획 같은 단발 작업과 아침 브리핑 같은 반복 작업을 다룬다. 설치한 Apps는 Gmail, Google 캘린더, Google Drive를 이어서 에이전트가 일정을 읽거나 받은편지함에서 초안을 쓴다. 이쪽은 아직 형태를 잡는 중이라 화면이 바뀔 수 있다고 보면 된다.

Sesame는 스킬 체계를 만든다. 짧은 절차를 적고 한 문장으로 실행한다. 스킬은 이름과 언제 쓰는지에 대한 메모, 따를 단계를 담는다. Claude가 퍼뜨린 것과 같은 오픈 형식이다. 실제로는 문장을 말하면 화면을 건드리지 않고 에이전트가 캘린더를 확인하고 받은편지함을 훑고 급한 항목을 읽어준다.

Sesame는 기반 음성 모델 CSM-1B를 Apache 2.0 라이선스로 공개했다. 누구나 돌리고 살피고 그 위에 올릴 수 있다. 모델은 10억 개 파라미터이고 텍스트와 오디오를 입력으로 받는다. 이름 붙은 에이전트 뒤의 조정된 버전이 아니라 기반 모델이라 결과는 고르지 않지만, 직접 호스팅할 수 있는 출발점을 개발자에게 준다.