Orpheus TTS

Orpheus TTS는 최상위 폐쇄형 모델에 맞먹거나 능가한다고 저자들이 말하는 억양, 감정, 리듬을 만들어 낸다. 텍스트의 단서를 읽고, 글이 시사하는 자리에 한숨이나 웃음을 끼워 넣는다. 이것이 대표 주장이며, 프로젝트가 오픈소스 논의에 오른 이유이기도 하다. 단서가 분명한 깔끔한 텍스트일수록 결과가 좋다.

사전 학습 모델은 미세 조정 없이 목소리를 복사한다. 프롬프트에 텍스트와 음성 쌍을 하나 이상 주면 새 텍스트로 그 화자를 흉내 낸다. 쌍을 많이 넘길수록 올바른 목소리에 안정적으로 자리 잡는다. 몇 시간의 녹음이 필요했던 옛 시스템과 갈리는 지점이 여기다.

웃음, 킥킥거림, 한숨, 기침, 코 훌쩍임, 신음, 하품, 헐떡임 같은 단순한 태그로 말투를 이끈다. 모델은 이를 텍스트의 일부로 읽고 그 주위에 오디오를 빚는다. 대화, 오디오북, 사람처럼 들려야 하는 챗봇에는 이 제어가 크게 작용한다. 지원 태그는 다국어 버전에서 언어마다 다르다.

스트리밍 지연은 약 200밀리초이며, 입력을 스트리밍하면 100밀리초 근처까지 내려간다고 문서에 적혀 있다. 음성 비서 같은 실시간 용도에서는 이 차이가 대화가 자연스럽게 느껴지는지를 가른다. 패키지는 생성되는 대로 오디오 조각을 흘려보내므로, 전체가 완성되기 전에 재생을 시작할 수 있다.

영어 미세 조정판과 사전 학습판 외에 1B, 400M, 150M 파라미터의 작은 버전도 계획되어 있다. 작은 모델은 품질을 조금 내주고 속도와 가벼운 하드웨어를 얻는다. 사양이 낮은 기계에 올릴 때 의미가 있다. 로드맵에 향후 릴리스로 올라 있다.

저장소에는 학습과 데이터 처리 스크립트가 있어 바탕 모델을 내 화자에 맞출 수 있다. 약 50개 예시부터 결과가 괜찮아지고, 최상의 결과를 원하면 화자당 300개를 목표로 하라고 팀은 권한다. 과정은 Trainer와 Transformers로 언어 모델을 미세 조정하는 것과 비슷해서 머신러닝 배경이 있으면 수월하다.

Orpheus TTS는 Python 패키지, llama.cpp를 쓰는 GPU 없는 경로, 또는 프로젝트가 선호하는 추론 파트너 Baseten의 전용 배포로 돌릴 수 있다. 커뮤니티 빌드는 OpenAI 호환 API와 Gradio 웹 인터페이스를 더한다. 내 출시 방식에 맞는 길을 고르면 된다.