F5 TTS
Shanghai Jiao Tong University (X-LANCE lab) · 語音與語言
F5-TTS 是上海交通大學推出的開源文字轉語音模型，只要幾秒參考音訊就能複製一個聲音，並以多種語言開口，不需額外訓練。
關於 F5 TTS
What Is F5-TTS
F5-TTS 是由上海交通大學 X-LANCE 實驗室打造、以 SWivid 專案名義發布的文字轉語音模型。名字取自 Fast、Flexible、Fine-grained TTS，它只把一件事做好：用你提供的聲音，把寫好的文字變成自然的語音。AI 語音合成這幾年推進得很快，這款語音複製模型則把成本壓低，讓整個領域又往前一步。
這個模型靠的是 flow matching 搭配 Diffusion Transformer，而不是傳統那套流程。這樣的設計省掉了多數舊系統倚賴的時長模型、文字編碼器與音素對齊。你丟進一小段某個人說話的錄音，它就用那個人的聲音念出你寫的新句子。
以前要複製一個聲音，得準備好幾小時錄音，再跑一輪微調。F5-TTS 直接跳過這步。一段乾淨的參考音訊，從幾秒到十秒左右就夠，所以外界稱它為零樣本語音複製。程式碼完全開放，你可以自己跑起來。
最大的問題在於：這是給開發者用的工具，不是現成 App。官方沒有網站讓你打一句話就能下載音訊。你得自己安裝、自己架設，再寫出呼叫它的程式或介面。
Getting Started
- 安裝 Python 3.10 以上版本，並設定 FFmpeg 來處理音訊。
- 建立虛擬環境，執行 pip install f5-tts；若打算訓練，就改為複製整個專案。
- 用 f5-tts_infer-gradio 開啟 Gradio 網頁介面，或在命令列執行 f5-tts_infer-cli。
- 上傳一段參考音訊、補上它的逐字稿，再輸入你想聽到的文字。
- 產生音訊後，把結果下載下來，或直接串進你自己的專案裡。
產品資訊
快速了解 F5 TTS 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 想把語音加進產品的開發者：F5-TTS 在本機執行，團隊不必按次付費就能加上語音輸出。你需要 Python 經驗，還要一張 GPU 才跑得順。
- 想指定某個聲音的創作者：播客與剪輯師能讓複製的聲音念稿。錄參考音時記得挑安靜的地方，背景雜音會留在成品裡。
- 研究語音模型的學者：程式碼與模型權重都公開，方便測試 flow matching 與 Sway 取樣。有機器學習底子會更輕鬆。
任務
- 從一段短音訊複製聲音：想從音訊複製聲音，只要餵幾秒語音，模型就會用全新文字模仿這位說話者。參考片段越長越乾淨，相似度越高。
- 產出多種語言的語音：一套多語言 TTS 設定就涵蓋多種語言，同一次架設能應付不只一個市場。冷門語言的發音，上線前先自己驗一遍。
- 製作有聲書或長篇旁白：分段推論讓長文本在段落之間保持一致。極長的稿子仍要花時間算圖。
- 配音與換聲：把現有旁白的說話者換成你想要的聲音。跟影片對嘴得自己手動處理，模型不負責這步。
情境
- 打造語音助理原型：把模型接上語音辨識與語言模型，就能串起一段口語對話。官方示範已經和 Qwen2.5-3B-Instruct 接在一起。
- 把影片在地化成另一種語言：用第二種語言產出同一份稿子，同時保留原本語氣。節奏多半得自己微調。
- 替 App 加上旁白又不想付雲端費：自己架設能讓音訊留在本機，內容敏感時這點很關鍵。代價是硬體得自己顧。
主要功能
零樣本語音複製
F5-TTS 用一小段參考音訊就能複製聲音，不必訓練或微調。指向幾秒清楚的語音、附上對應逐字稿，它便用那個人的語氣念出新文字。這正是本專案和舊系統的分水嶺，後者動輒要幾小時的資料。參考音越乾淨，像真度越高。
Flow Matching 搭配 Diffusion Transformer
模型把 flow matching 與 Diffusion Transformer、ConvNeXt V2 文字精修器結合在一起。這樣的堆疊讓它用比早期擴散模型更少的取樣步數產生語音，等待時間自然縮短。論文報告的推論即時率是 0.15，也就是在測試硬體上，產生音訊比實際播放還快。對跑批次工作的人來說，這段落差會不斷放大。
多語言輸出與語言切換
一套多語言 TTS 設定涵蓋多種語言，還能在同一句話裡換來換去。稿子把英文術語夾進另一種語言時特別好用，技術旁白很常這樣寫。你不必為每種語言各準備一個模型。發音仍因語言而異，常用的那幾種要自己測過。
Sway 取樣提升品質
Sway 取樣是推論階段的技巧，改變模型產生語音時挑選 flow 步驟的方式。它能在不重新訓練的前提下改善語音品質與穩定度，作者也提到可以搬進其他 flow matching 模型。你透過設定檔或命令列的取樣參數控制它。這種選項一旦調到貼合你的內容，回報就很明顯。
分段推論處理長文本
長稿子會被切成數段再拼接起來，讓整段文字的聲音維持一致。有聲書章節與長篇旁白因此變得可行，不必一句一句來。模型在段落之間能維持穩定語氣。檔案很長時，記得預留更多算圖時間。
本機訓練與微調
除了推論，F5-TTS 也附上可跑在自己資料上的訓練與微調程式碼。有一條走 Hugging Face Accelerate 的路線，也有 Gradio 介面給偏好視覺化流程的人。聲音或口音有特色的團隊可以調整基礎模型。這需要 GPU，對訓練迴圈也得有點耐心。
多種執行方式
你可以把 F5-TTS 裝成 pip 套件快速推論、複製專案拿到完整控制權，或直接拉 Docker 映像檔。Gradio App 提供瀏覽器介面，CLI 則對應腳本化用途。搭配 Triton 與 TensorRT-LLM 的熱部署能把延遲壓到單張 L20 GPU 上約 253 毫秒。挑一條符合你上線方式的路。
優缺點
優點
- 用幾秒音訊就能複製聲音，不必事先微調
- 以 MIT 授權開源，程式碼能讀也能改
- 單一模型就處理多語言與語言切換
- 在本機執行，音訊留在自己的硬體上
- 附上訓練、微調與熱部署的工具
缺點
- 沒有官方託管的 API，架設與維護都得自己來
- 預訓練模型的 CC-BY-NC 授權擋住商業用途
- 要跑得快得有一張像樣的 GPU，模型檔案也不小
- 品質取決於參考片段，音訊有雜訊成品就跟著變差
常見問題
F5-TTS 把文字變成語音，並模仿指定的聲音。常見用途包括旁白、配音、語音助理，以及語音模型的研究。它是要嵌進大專案裡的一塊積木，不是獨立成品。
相關內容
探索與 F5 TTS 相關的工具、技能與文章。
F5 TTS 替代方案
Prosp
Prosp · 寫作 · 語音與語言 · 行銷Prosp 是一款 AI LinkedIn 開發信工具，專為代理商與業務團隊打造，會針對每位潛在客戶以你自己的聲音撰寫訊息與語音訊息，讓他們真的回覆。你連接帳號、尋找潛在客戶，讓 AI 大規模草擬並發送個人化訊息，全部在一個收件匣完成。它是為大量進行陌生開發的人設計的。這就是它全部的賣點。每一個接觸點仍然必須感覺像真人。
Wordly AI Translation
Wordly · 語音與語言 · 生產力Wordly AI Translation 是一套為會議、研討會與活動打造的即時 AI 翻譯與字幕平台。它提供 60 多種語言的即時翻譯、字幕、逐字稿與摘要，與會者只要掃描 QR Code 或開啟連結就能加入，不必配戴專用耳機。平台可搭配 Zoom、Microsoft Teams、Google Meet 與 Webex 運作，專為想在每場活動提供多語言服務、又不想每場都請真人口譯的組織而設計。就是這麼單純。
Musicful
Musicful AI · 語音與語言 · 影片Musicful 是一款 AI 音樂生成器與 AI 音樂影片製作工具，能在幾分鐘內把文字變成音樂。給它一段文字提示、一組歌詞或一段哼唱的旋律，它就會回傳一首帶人聲與樂器的完成曲目。它同時也是 AI 歌曲生成器，能用你創作的歌曲產出音樂影片，並提供 AI 翻唱工具與開發者 API。平台可在網頁瀏覽器與 Android App 上執行，所以你能在桌機開始一首歌，再用手機接著做。