Fish Speech
Fish Audio · 語音與語言 · 影片
Fish Speech 是 Fish Audio 的開源文字轉語音模型，目前以 Drama 3 版本提供：10 到 30 秒就能複製音色，支援 83 種語言，還能在文字裡加情緒標籤。
關於 Fish Speech
About
Fish Speech 是什麼
Fish Speech 是 Fish Audio 推出的開源文字轉語音模型，這家公司同時經營 fish.audio 平台。這個名字包含兩件一起交付的東西：Hugging Face 上的模型權重與 GitHub 上的程式碼，以及背後用同一批模型支撐網站和 API 的託管服務。你可以註冊後直接使用，操作起來跟一般 AI 語音生成器沒兩樣；也可以下載權重，把所有環節握在自己手上。
模型系列推進得很快。Fish Speech 1.x 與 OpenAudio S1 定下基調：用一小段樣本複製音色，用日常語言控制語氣。S2 與 S2.1 Pro 把準確度與串流補上。2026 年 10 月 13 日推出的 Drama 3 是現行旗艦，350 億參數、每個 token 啟用 30 億，並在原有基礎上加入音訊局部編輯與多輪修改。
它解決的是「開源」與「好用」之間的落差。多數開源 TTS 專案拿商業工具一比就顯得平板，而多數商業工具又不讓你離線執行。這裡兩道門都開著：權重依 Fish Audio 社群授權釋出，年營收低於 50 萬美元的公司可作商業使用；託管方案則從免費開始。
限制也得先講清楚。自己架設需要 NVIDIA 顯示卡，還得對 Python 環境有基本耐心。複製音色的品質跟參考音檔的乾淨程度直接相關，手機在吵雜環境錄的音，複製出來同樣吵。而且大部分效能數據來自 Fish Audio 自家測試，目前最紮實的第三方檢驗是 Artificial Analysis。
開始使用
- 打開 fish.audio 註冊免費帳號。免費方案每月約 7 分鐘生成額度，用來判斷音色是否符合專案需求已經足夠。
- 從音色庫挑一個聲音，或複製自己的。複製時上傳 10 到 30 秒乾淨語音，不要有音樂與空間殘響。
- 把腳本貼進文字框，在語氣轉折處插入指示標籤，例如句子前加 [whisper]、句尾加 [laughing]。
- 生成後先聽，再調整標籤，不要急著改文字。換一個標籤對表現的影響，通常大於重寫一句話。
- 若要自行架設，先複製 GitHub 專案、安裝環境、從 Hugging Face 下載權重，再於裝有近期 NVIDIA 顯卡的機器上啟動網頁介面或 API 伺服器。
產品資訊
快速了解 Fish Speech 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- YouTube 創作者與播客主持人：旁白、廣告口播與其他語言版本都從同一份腳本產出，免費額度足以測試一支頻道預告。要抓出雜音仍得準備一副像樣的耳機。
- 遊戲與動畫開發者：角色配音一個下午就能做出雛形，不必等錄音室排到幾週後，Drama 3 還能一次處理同一場景的多個角色。正式製作仍建議由真人導演盯場。
- 為產品加入語音的開發者：TTS API 收文字、回傳串流音訊，首個聲音約 100 毫秒到位，語音代理回應起來不會卡頓。專案一旦超出原型階段，就得重新確認預算。
- 本地化團隊：83 種語言配上同一個複製音色，一支產品展示影片要出西班牙語、日語與阿拉伯語版本，不必僱五位配音員。品牌名稱的發音還是該請母語人士確認。
任務
- 把影片配成另一個語言：保留複製好的音色，只換腳本，對多數人靜音觀看的社群短片來說，效果比字幕好。
- 草擬角色對白：寫好台詞、加上 [angry] 或 [nervous]，在預訂錄音室之前先聽一遍演法。
- 把文章轉成有聲版：貼上文字、生成、發佈，並用停頓標籤控制段落之間的節奏。
- 替應用程式原型加上語音：從後端呼叫 TTS API，把音訊串流回前端，不必自己搭一套模型流程。
情境
- 在花錢進錄音室之前先驗證想法：一條粗糙的語音軌就能判斷腳本唸起來順不順，這是最便宜的一輪回饋。
- 同時經營多個市場的頻道：一個聲音身分跨語言沿用，巴西與德國的觀眾聽到的是同一位主持人。
- 趕期限交出一版展示：網站加上 API 一天內就能做出可運作的原型，等數字站得住腳再考慮自架。
主要功能
短樣本聲音克隆
10 到 30 秒的參考音訊就能重現一個音色，官方首頁則主打 15 秒。複製出來的不只是一個大概印象，還包含口音、音高與說話節奏。貼近麥克風錄的單聲道檔案效果最好，背景音樂是最快毀掉成果的做法。
文字內的指示標籤
語氣靠方括號指示控制，寫在情緒轉換的位置：[whispering]、[angry]、[sighing]、[laughing]、[pause]。Drama 3 也接受自由描述，像 [barely holding it together, forcing a smile] 一樣能生效。成對標籤可以把效果限定在句中幾個字。這正是它與舊世代引擎最大的差別，那些工具只能調速度與音高，然後祈禱結果能聽。
廣泛的語言覆蓋
Drama 3 支援 83 種語言，比 Fish Speech 1.5 的 13 種大幅增加，在可下載的多語言 TTS 模型裡屬於前段班。關鍵在跨語言複製：音色只需複製一次，之後換成別的語言仍能保留同一個說話者身分。指示標籤用你思考的語言寫就行，模型照樣套用到目標語句上。
單一場景多個說話者
同一段文字可以放進多個角色，用說話者編號區隔，模型一次生成整段對話。做廣播劇、遊戲過場或雙主持人影片時，這省掉了生成、拼接、重對時間那一輪折磨。
局部編輯與多輪修改
Drama 3 讓你像改文件一樣修一小段成品。換掉一個詞，前後音色與接縫依然自然，不必為了一個錯字重跑五分鐘音檔。多輪修改走另一個方向：告訴它上一版應該再柔一點、再難過一點，模型會帶著這個脈絡重新生成。
可自架的開放權重
程式碼與權重都公開，社群授權允許年營收低於 50 萬美元的商業使用。對有隱私要求或用量可預期的團隊來說，這是實際可行的選項，因為本地推論不按字數計費。代價是顯示卡、安裝時間，以及一套 Python 環境的日常維護。
低延遲串流 API
託管 API 在生成同時輸出音訊，依 Fish Audio 自家測量，首個聲音約 100 毫秒，在 H200 上即時係數為 0.195。文字轉語音、語音轉文字與語音代理端點共用同一把金鑰。對對話型產品來說，這個延遲決定了助理是會搶話，還是懂得等一下。
優缺點
優點
- 用一小段參考音訊就能複製音色，不必進錄音室也能得到可用的聲音。
- 情緒與節奏用日常語言標籤控制，迭代速度遠快於拉參數滑桿。
- 免費方案加上開放權重，提供兩種低成本試用方式，先驗證再付費。
- 83 種語言加上跨語言複製，一個聲音身分就能吃下大半本地化工作。
- 串流延遲與開放 API 讓它能在真實產品裡運作，不只拿來產出單一檔案。
缺點
- 自架需要 NVIDIA 顯示卡與 Python 環境的熟悉度，一般使用者難以跨過這道門檻。
- 複製品質高度取決於參考音訊，來源吵雜就會得到悶糊結果，而且沒有內建清理工具。
- 社群授權把免費商用限定在年營收 50 萬美元以下，規模更大的公司得另外談授權。
- 公開的效能數據幾乎都由廠商自己跑，第三方比較只涵蓋發音準確度，沒有測情緒表現。
常見問題
不用。託管服務有免費方案，每月約 7 分鐘生成額度，模型權重也能免費下載。年營收低於 50 萬美元的組織，可免費將開放權重用於商業用途。
相關內容
探索與 Fish Speech 相關的工具、技能與文章。
Fish Speech 替代方案
Foley
Hanamori Labs, LLC · 語音與語言 · 生產力 · AI 助理Foley 是一款語音待辦清單，把一句話變成歸檔好的任務，專案、日期與時間都先填好，接著再幫你依現有清單排出一整天的順序。
HireKey
HireKey · 語音與語言 · 生產力 · AI 學習HireKey 是由前科技業招募主管打造的 AI 求職副駕駛。它分析職缺契合度、客製化履歷、帶你練習面試，並把每份申請整理在同一處。
Fluence
Yay Software (Yannick Huchard) · 寫作 · 語音與語言 · 生產力Fluence 是 Android 上的文件閱讀器，能朗讀 PDF、EPUB、Word 檔與網路文章，逐句跟著語音標示，並在手機上直接回答你對內容的提問。