Fish Speech

Fish Speech란

Fish Speech는 fish.audio 플랫폼을 운영하는 Fish Audio의 오픈소스 음성 합성 모델이다. 이 이름에는 함께 배포되는 두 가지가 들어 있다. Hugging Face의 모델 가중치와 GitHub의 코드, 그리고 같은 모델을 사이트와 API 뒤에서 돌리는 호스팅 서비스다. 가입해서 쓰면 여느 AI 음성 생성기와 다를 바 없다. 가중치를 내려받으면 생성 과정 전체를 직접 쥘 수 있다.

모델 계보는 빠르게 움직였다. Fish Speech 1.x와 OpenAudio S1이 방향을 잡았다. 짧은 샘플로 목소리를 복제하고, 일상어로 말투를 조절하는 방식이다. S2와 S2.1 Pro가 정확도와 스트리밍을 끌어올렸다. 2026년 10월 13일 공개된 Drama 3가 현재 주력이다. 350억 파라미터에 토큰당 30억을 활성화하는 구조이며, 오디오 부분 편집과 멀티턴 수정을 더했다.

해결하는 문제는 개방성과 완성도 사이의 거리다. 오픈소스 TTS는 상용 도구 옆에 놓으면 밋밋하게 들리고, 상용 도구는 대개 클라우드 밖으로 나가지를 못한다. 여기는 두 문이 모두 열려 있다. 가중치는 Fish Audio 커뮤니티 라이선스로 배포되며 연 매출 50만 달러 미만 기업은 상업적으로 쓸 수 있다. 호스팅 요금제는 무료부터 시작한다.

한계도 분명하다. 직접 돌리려면 NVIDIA GPU와 Python 환경에 대한 어느 정도의 내공이 필요하다. 복제 품질은 참조 음성의 깨끗함을 그대로 따라가서, 소음이 많은 녹음에서는 소음이 많은 클론만 나온다. 공개된 벤치마크 대부분은 Fish Audio 자체 측정이고, 제3자 비교로 믿을 만한 것은 지금 Artificial Analysis 정도다.

시작하기

1. fish.audio에 접속해 무료 계정을 만든다. 무료 요금제는 월 7분가량의 생성 한도를 주므로 목소리가 프로젝트에 맞는지 판단하기에 충분하다.
2. 라이브러리에서 목소리를 고르거나 직접 복제한다. 복제할 때는 음악도 잔향도 없는 10~30초 음성을 올린다.
3. 대본을 텍스트 상자에 붙이고 감정이 바뀌는 지점에 지시 태그를 넣는다. 문장 앞에 [whisper], 뒤에 [laughing]을 두는 식이다.
4. 생성하고 들어 본 뒤 태그를 고친다. 문장을 다시 쓰는 것보다 태그 하나를 바꾸는 편이 연기를 더 크게 움직인다.
5. 직접 운영하려면 GitHub 저장소를 복제하고 환경을 세운 뒤 Hugging Face에서 가중치를 받아, 최신 NVIDIA 카드가 있는 장비에서 웹 UI나 API 서버를 띄운다.