Orpheus TTS
Canopy Labs · 語音與語言
Orpheus TTS 是 Canopy Labs 的開源文字轉語音模型，以 Llama 3B 為基礎，能零樣本複製聲音、加入情緒標籤，並以低延遲串流音訊。
關於 Orpheus TTS
About
什麼是 Orpheus TTS
Orpheus TTS 是 Canopy Labs 推出的開源文字轉語音模型。它跑在 Llama 3B 的基礎上，也就是團隊把大型語言模型的技術套用到語音合成，而不是走傳統的聲學流程。結果是帶有自然節奏、語調與情感的語音，而且專案把程式碼與模型權重都公開，任何人都能自己跑。
背後的道理很簡單。早期的語音系統把文字解析、時間安排、音訊生成這些階段拆成不同元件處理。Orpheus 改用生成任務的角度來看這件事，而這正是語言模型本來就擅長的。模型學會產生語音單元，就像語言模型產生文字一樣，這個切入角度帶來了一些作者所說的浮現能力，表現可以比擬甚至超越部分閉源方案。
你拿到的是給開發者用的工具，不是一個做完的應用程式。沒有哪個網站讓你輸入一句話就下載檔案。你要安裝套件、自己架設模型，再接到自己的產品裡。如果你想要語音輸出又不想按次付費，這種彈性很關鍵，但代價是硬體與環境都得自己打理。
開始使用
- 複製專案，或用 pip install orpheus-speech 安裝套件，它底層用 vllm 來加快推論。
- 透過 OrpheusModel 類別載入模型，例如 canopylabs/orpheus-tts-0.1-finetune-prod。
- 撰寫文字，可附上講者名稱與情緒標籤，再呼叫 generate_speech 並指定清單中的聲音。
- 把回傳的音訊片段寫進 WAV 檔，或直接送進你的應用程式即時播放。
- 想用自己的聲音，就準備 Hugging Face 資料集並執行微調腳本，每個講者以約 300 個樣本為目標。
產品資訊
快速了解 Orpheus TTS 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 想替應用程式加上語音的開發者：Orpheus TTS 在你自己的機器上執行，團隊不必按次付費就能加入語音輸出。你需要 Python 能力，還有一張 GPU 才能跑得順。
- 想要特定聲音的創作者：旁白與影片剪輯者可以用複製或預設的聲音念稿。請準備乾淨的參考錄音，因為背景雜訊會一起進到輸出裡。
- 打造即時對話的人：串流設計適合語音助理與聊天代理，需要快速回傳語音。記得調整重複參數，讓輸出維持穩定。
任務
- 從短樣本複製聲音：給幾秒參考音訊，預訓練模型就能用新文字模仿這位講者。你提供的文字與語音配對越多，貼合度越可靠。
- 替旁白加入情緒：像笑聲、嘆氣、倒抽一口氣這類標籤能引導語氣，不必重新訓練。這讓對白與敘事聽起來不那麼平。
- 產生多種語言的語音：研究版本以共同的提示格式涵蓋多種語言。發音會因語言而異，請先測試你會用到的那些。
- 為了隱私在本機執行語音：自己架設能讓音訊留在自己的機器上，內容敏感時特別重要。同時也代表硬體得自己管。
情境
- 驅動語音助理的對話迴圈：把模型接上語音辨識與語言模型，就能組成口語對話。低延遲讓對話感覺像即時進行。
- 製作有聲書與長篇旁白：模型在長段落之間能維持一致的聲音。檔案很長時，生成仍需要一些時間。
- 把影片配音成另一種語言：用第二種語言產生同一份稿子，同時保留原本的語氣。對上畫面影格仍得手動處理。
主要功能
接近真人的語音
Orpheus TTS 產生的語調、情感與節奏，作者稱能與頂尖閉源系統比擬甚至超越。它會抓文字裡的線索，在字句需要的地方放進嘆氣或笑聲。這是它最主要的主張，也是這個專案被放上開源討論桌的原因。文字乾淨、線索清楚時效果最好。
零樣本聲音複製
預訓練模型不需要任何微調就能複製聲音。在提示裡給它一組或多組文字與語音配對，它就能用新文字模仿該講者。你給的配對越多，越能穩定落在正確的聲音上。這正是它與需要大量錄音的舊系統不同之處。
情緒與語調引導
你用簡單標籤引導語氣，包括笑聲、輕笑、嘆氣、咳嗽、吸鼻、呻吟、打哈欠、倒抽一口氣。模型把它們當成文字的一部分來讀，並依此塑造音訊。對對白、有聲書，或需要聽起來像真人的聊天機器人來說，這種控制很有用。多語言版本裡，各語言支援的標籤並不相同。
低延遲串流
串流延遲大約落在 200 毫秒，官方文件提到若搭配串流輸入，還能降到接近 100 毫秒。在語音助理這類即時用途裡，這個差距決定對話聽起來順不順。套件會在音訊片段生成時就送出來，所以整段還沒好就能先開始播放。
多種模型尺寸
除了英文的微調版與預訓練版，專案也規劃了 1B、400M、150M 參數的較小版本。小模型用一點品質換取速度與較輕的硬體，在規格普通的機器上部署時很實用。藍圖把這些列為接下來的發布項目。
用自己的聲音微調
專案附上訓練與資料處理腳本，讓你把基礎模型調成自己的講者。大約 50 個樣本後成果開始變好，團隊建議每個講者準備 300 個樣本以達到最佳效果。流程跟用 Trainer 與 Transformers 微調語言模型很像，有機器學習底子會更順手。
多種執行方式
你可以用 Python 套件跑 Orpheus TTS，走 llama.cpp 的免 GPU 路線，或透過 Baseten 做專屬部署，那是專案偏好的推論夥伴。社群版本另外提供相容於 OpenAI 的 API 與 Gradio 網頁介面。挑一條符合你上線方式的路走。
優缺點
優點
- 語音的情感與節奏自然，足以與閉源模型競爭
- 從短樣本就能零樣本複製聲音，不需微調
- 以約 200 毫秒延遲串流音訊，適合即時應用
- 權重與程式碼開源，可以自己執行
- 情緒標籤讓語氣控制更細緻
缺點
- 沒有官方託管的 API，得自己架設與維護
- 快速推論需要 GPU，基礎模型檔案也偏大
- 輸出品質取決於參考片段，雜訊多的音訊會拉低成果
- 完整的多語言系列仍屬研究預覽
常見問題
Orpheus TTS 把文字轉成自然的語音，也能模仿指定的聲音。開發者用它做語音助理、旁白、配音，以及語音模型的研究。它是可以接進更大專案的一塊積木，而不是獨立產品。
相關內容
探索與 Orpheus TTS 相關的工具、技能與文章。
Orpheus TTS 替代方案
Prosp
Prosp · 寫作 · 語音與語言 · 行銷Prosp 是一款 AI LinkedIn 開發信工具，專為代理商與業務團隊打造，會針對每位潛在客戶以你自己的聲音撰寫訊息與語音訊息，讓他們真的回覆。你連接帳號、尋找潛在客戶，讓 AI 大規模草擬並發送個人化訊息，全部在一個收件匣完成。它是為大量進行陌生開發的人設計的。這就是它全部的賣點。每一個接觸點仍然必須感覺像真人。
Wordly AI Translation
Wordly · 語音與語言 · 生產力Wordly AI Translation 是一套為會議、研討會與活動打造的即時 AI 翻譯與字幕平台。它提供 60 多種語言的即時翻譯、字幕、逐字稿與摘要，與會者只要掃描 QR Code 或開啟連結就能加入，不必配戴專用耳機。平台可搭配 Zoom、Microsoft Teams、Google Meet 與 Webex 運作，專為想在每場活動提供多語言服務、又不想每場都請真人口譯的組織而設計。就是這麼單純。
Musicful
Musicful AI · 語音與語言 · 影片Musicful 是一款 AI 音樂生成器與 AI 音樂影片製作工具，能在幾分鐘內把文字變成音樂。給它一段文字提示、一組歌詞或一段哼唱的旋律，它就會回傳一首帶人聲與樂器的完成曲目。它同時也是 AI 歌曲生成器，能用你創作的歌曲產出音樂影片，並提供 AI 翻唱工具與開發者 API。平台可在網頁瀏覽器與 Android App 上執行，所以你能在桌機開始一首歌，再用手機接著做。