Voila

Voila

Maitrix.org (with UC San Diego and MBZUAI) · 語音與語言

Voila 是 Maitrix.org 推出的開源語音語言模型家族,以 195 毫秒延遲進行即時全雙工對話,內建超過一百萬種聲音。

Voila 的介面預覽

關於 Voila

About

Voila 是什麼

Voila 是一個研究專案,不是訂閱制應用程式。Maitrix.org 的團隊與加州大學聖地牙哥分校、MBZUAI 合作,打造了一系列語音語言基礎模型,並公開程式碼與權重供人下載。它想做的事,和你在用的語音助理不一樣。別人是等你下指令再回覆,Voila 則設計成同時聆聽、推理與說話。

幾乎所有語音助理都靠一條鏈路運作。語音辨識把你的話轉成文字,語言模型寫出回覆,文字轉語音引擎再念出來。這種做法,等於把一個開源語音模型拆成語音辨識模型加語言模型兩段。每個環節都添了延遲、抹掉語氣,結果聽起來就很機械。Voila 跳過文字這個中間人,直接學一條從音訊進、音訊出的路徑。195 毫秒的數字就是這樣來的,是標準的即時語音 AI 表現,比一般人回答所需的兩百到三百毫秒還快。

代價在於你把它用在哪裡。Voila 以開放權重與託管示範的形式發布,沒有打磨過的消費級 App,沒有月費方案,也沒有客服。想放進產品裡,設定得靠你自己或團隊處理。

開始使用

  1. 打開 Hugging Face 上的 Voila 示範,不用安裝任何東西就能試語音對話、文字轉語音與語音辨識
  2. 若打算在自己的硬體上執行,就從 Hugging Face 下載開放權重
  3. 照著 GitHub 儲存庫設定 Python 環境,載入 Voila 的檢查點
  4. 寫一段簡短指令設定說話者的角色與語氣,或加入十秒的音訊片段來複製聲音
  5. 針對語音對話、轉錄或語音合成等任務執行推論,需要翻譯時再做微調

產品資訊

快速了解 Voila 的定價、支援平台與效能。

免費方案是
付費方案Free and open-source
平台Web demo, Python, open weights on Hugging Face, GitHub
開發者Maitrix.org (with UC San Diego and MBZUAI)
類別語音與語言
發布日期May 2025
最近更新May 2025
網站訪問量N/A
網站全球排名N/A
API 提供狀態否

適合對象

這項工具最適合的使用者、任務與情境。

使用者

  • AI 研究者與研究生:研究語音模型的人,需要能檢視、重新訓練並公開發表的開放權重,而且不必付授權費
  • 打造語音產品的機器學習工程師:想在自家伺服器上跑低延遲語音核心、不願按分鐘付費的開發者
  • 獨立開發者與玩家:想在本機執行與修改語音模型、不想辦供應商帳號的人
  • 語音與音訊設計師:做角色雛型的人,需要可外掛的聲音,以及用文字控制角色的方式

任務

  • 即時語音對話:進行自然的你來我往,模型能同時聆聽與說話,是名副其實的即時語音 AI
  • 聲音複製:從最短十秒的片段擷取說話者音色,套用到新的台詞
  • 文字轉語音:用內建的任一種聲音風格,把書面文字轉成語音。所謂文字轉語音模型,在這裡與對話共用同一個核心
  • 語音辨識:把語音轉成文字,非英語音訊也能處理,不必另外架一個語音辨識模型
  • 角色扮演與角色聲音:用文字定義 AI 角色,讓它在說話時維持這個身分,很適合做 AI 語音角色扮演

情境

  • 語音模型研究:在真正能修改的全雙工架構上做受控測試
  • 語音代理雛型:先確認低延遲是否符合需求,再決定要不要綁定付費供應商
  • 本機與離線使用:不能把音訊送往雲端服務時,在自家硬體上執行語音模型
  • 多語言示範:做一個能處理英語、中文、法語、德語、日語與韓語的示範
  • 教學與工作坊:給學生一個能動手玩的模型,而不是黑箱 API

主要功能

全雙工對話

Voila 能同時聆聽與說話,這正是它與輪流發言型助理的分野。自主模型會平行處理你的音訊串流與它自己的輸出,因此能發出應答訊號、接受打斷,或像人一樣讓話語重疊。實務上,這把僵硬的問答循環變成更接近真實通話的互動。團隊自己的說法是,他們要模型會反應,也會主動開口,而不是只會等。

195 毫秒回應延遲

規格開頭那個數字,是從話語結束到回應開始的 195 毫秒。作為對照,人通常在兩百到三百毫秒內回答,所以 Voila 屬於低延遲語音模型的一員,落在人類速度上下。這點很重要,因為延遲正是讓語音助理聽起來像機械人的原因。數字能壓這麼低,是因為拿掉文字鏈路、直接為音訊建模,砍掉了三個獨立模組互相交棒時堆疊出來的停頓。

聲音客製與角色控制

塑造聲音有兩條路。一段書面指令設定角色、語氣與說話方式,大致等同系統提示。另一段音訊片段則讓模型學會說話者的音色,片段長度從幾秒到數小時都行。靠這個捷徑,團隊預先建了超過一百萬種現成聲音,所以你也可以挑一個現成的,不必自己訓練。十秒樣本就能起步。

一個模型處理多種音訊任務

同一個模型就能處理對話、文字轉語音與語音辨識,不必為每項任務各做一個版本。語音翻譯只要輕度微調就能辦到,不用整組重建。對開發者來說,這代表一個檢查點、一份程式碼庫要維護,而不是把三個服務串在一起。這種整併省下的,是基礎架構,也是讓各部件保持同步所耗的時間。

開放權重與程式碼

全部開放。權重與程式碼放在 Maitrix.org 組織下的 Hugging Face 與 GitHub,任何人都能下載、執行與調整。這對研究是最大的吸引力,因為你能看清系統怎麼運作,而不是把它當黑箱。此外也沒有按分鐘計費,更沒有供應商能從你腳下抽掉條件。

多語言支援

Voila 以多語言文字與音訊訓練,涵蓋六種語言:英語、中文、法語、德語、日語與韓語。它在這些語言裡既能理解也能生成,所以對話可以在語言之間切換。對服務多個市場的團隊來說,這種廣度省下了每個地區各建一個模型的功夫。

優缺點

優點

  • 195 毫秒延遲讓回應達到人類速度或更快,這正是語音助理顯得即時的關鍵
  • 全雙工設計讓模型同時聆聽與說話,打斷與應答訊號都很自然
  • 開放權重與程式碼意味著零授權費,檢視、重新訓練與發布都完全自由
  • 超過一百萬種內建聲音加上十秒複製,自製角色很快就能上手
  • 單一檢查點就涵蓋對話、文字轉語音、語音辨識,微調後還能翻譯

缺點

  • 沒有消費級 App 也沒有託管服務,設定、架設與維護都得自己來
  • 在本機執行需要相當的運算資源,一般筆電使用者難以觸及
  • 六種語言的清單比動輒標榜數十種的商業平台來得窄
  • 翻譯需要微調,不是開箱即用,投入之後才看得到回報

常見問題

Voila 是 Maitrix.org 與加州大學聖地牙哥分校、MBZUAI 共同打造的開源語音語言模型家族。它從音訊進、音訊出,端到端進行即時語音對話,支援語音對話、文字轉語音、語音辨識,微調後還能做語音翻譯。