關於 VideoLingo
What Is VideoLingo
VideoLingo 是一款 AI 字幕生成器，在單一 Streamlit 視窗裡把一支影片變成翻譯、字幕或配音版本。它包辦整條流程：用 yt-dlp 抓下影片、逐字辨識語音、把文字切成好讀的字幕行、翻譯，接著視需求用合成語音取代原本的聲音。專案放在 GitHub 的 Huanshere 帳號下，在你自己的電腦上執行，並以 Apache 2.0 授權釋出。
它解決的是一個過去得靠譯者、剪輯師與配音員接力處理的問題。想讓英語影片觸及西班牙語或日語觀眾的人，可以在本機跑一遍，拿到字幕檔、燒進畫面的字幕軌，或是一段配好音的影片。內容團隊拿它當影片在地化軟體來處理 YouTube 上傳，研究者則用它為自己錄下的訪談上字幕。
它的限制來自所依賴的環節。翻譯品質取決於你接上哪個 LLM，語音辨識需要乾淨的音軌，而配音要花錢，因為多數 TTS 聲音都走付費 API。它也是自行架設，運算資源和 API 金鑰都得自己準備。吃重的 GPU 工作在配備 NVIDIA 顯卡的機器上跑得快些，不過預設的辨識模型在 CPU 上也能運作。
Getting Started
- 從 GitHub releases 頁面下載原始碼壓縮檔並解壓到資料夾，或複製儲存庫後執行 uv run start.py。
- 開啟應用程式；首次執行會自動安裝 Python 3.12、相依套件與 FFmpeg。
- 在側邊欄填入 LLM 的 API 網址、金鑰與模型名稱，並選擇語音辨識後端。
- 貼上 YouTube 連結或指定本機檔案，選好目標語言，啟動流程。
- 檢查字幕成果，再匯出字幕檔或配音影片。
產品資訊
快速了解 VideoLingo 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- YouTube 創作者：把已上傳的影片做成八種輸入語言的版本，不必請翻譯，前提是手上有 LLM 的 API 金鑰。
- 影片剪輯與字幕工作者：產出對好時間、切好段落的字幕檔，之後在別的剪輯軟體微調，不用逐句手打。
- 研究者與記者：替訪談與田野錄音上字幕，但前提是原始音軌夠乾淨，辨識模型才處理得來。
- 小型在地化團隊：預算有限也能把短片配上其他語言，因為工具本身免費，只有 TTS 呼叫要付費。
任務
- 影片字幕翻譯：把英語影片的字幕轉成俄語、日語或西班牙語，並讓整份檔案的術語維持一致。
- 一鍵配音：把工具當成 AI 配音工具來用，以合成語音取代原本的人聲，再依成品要多自然，從幾家 TTS 供應商中挑選。
- 字幕切分：把過長的句子切成單行字幕並設定長度上限，讓畫面上的文字維持好讀。
- 批次處理影片庫：透過本機 HTTP API 一次處理一個檔案，需要重跑某個步驟時沿用快取結果。
情境
- 經營多語頻道：把一次錄影變成多種語言版本，觸及本國市場以外的觀眾。
- 聽外語課程：為其他語言錄製的演講取得字幕，邊看邊對照。
- 準備社群媒體短片：把一小段內容配上另一種語言，不必另外進錄音室就能發布。
- 保存研究素材：替訪談錄音加上準確字幕，多年後仍找得到內容。
主要功能
一鍵跑完整條流程
整條字幕與配音流程都在單一 Streamlit 視窗裡執行。你貼上 YouTube 連結或指向本機檔案，設好語言與模型，工具就依序處理下載、辨識、切分、翻譯與匯出。每個階段都把結果寫進硬碟，所以某個步驟失敗時可以單獨重跑，不必從頭再來一遍。
逐字語音辨識
辨識以 Qwen3-ASR 搭配強制對齊器為核心，時間軸標記的是單字而非整句。正是這份精確度讓字幕落在正確的節拍上。若不想在本機跑模型，也可以把音訊送到 ElevenLabs 或 MAI-Transcribe-2，只是這麼做會讓音訊離開你的電腦。
AI 字幕切分
嘴上一長串話塞不進單行字幕。工具結合 NLP 規則與一趟 LLM 處理，把逐字稿切成簡短好讀的字幕，並可調整長度上限，判斷邏輯跟人工字幕編輯一致。翻譯排在切分之後，因此譯文字幕仍保留原語音的時間點。
兼顧上下文的翻譯
翻譯預設分兩趟進行。自訂術語表與 AI 產生的詞彙表讓專有名詞、行話與反覆出現的說法在全檔保持一致，另外可選的反思步驟會把生硬的機器譯文改寫成自然語句。好模型的價值就在這裡顯現：弱模型只會產出平板又直譯的字幕。
多供應商配音
配音是選用功能，支援多家語音引擎，包括 OpenAI TTS、Fish Audio、SiliconFlow、GPT-SoVITS 與 Edge TTS。GPT-SoVITS 的聲音複製效果最好，但只涵蓋中文與英語；其他供應商則支援更多語言。時間點與語氣取決於譯文和聲音，調整語速也不保證完美同步。
本機 HTTP API
要自動化時，VideoLingo 提供本機 HTTP API，跟介面共用同一套處理流程。腳本與 AI 代理可以一次丟一個工作，查詢進度、下載結果、重試失敗項目。它取代了專案已不再推薦的舊版 Excel 批次模式。
持續記錄與任務控制
每個步驟都會把進度寫到硬碟，所以你能在中途暫停、續跑或停止，之後再接回來。模型成功的回應會進快取，重跑失敗流程時可直接沿用已完成的部分，不必為同一段翻譯付兩次錢。
優缺點
優點
- 以 Apache 2.0 釋出的免費開源字幕工具，沒有訂閱費，也不按影片數量計費。
- 完全在自己的電腦上執行，除非你選擇雲端的辨識或 TTS 服務，否則素材不會離開本機。
- 從影片下載到配音一手包辦，不必把好幾個應用程式串起來。
- 模型選擇有彈性，任何相容 OpenAI 的 LLM 與多種 TTS 後端都能接。
缺點
- 安裝需要熟悉命令列與 API 金鑰，不常碰這些的人第一次啟動會卡關。
- 翻譯與配音品質取決於你接上的模型與服務，不同設定的成果落差很大。
- 配音不會替每個講者分配不同聲音，訪談或座談類的內容會受影響。
- 辨識遇到背景噪音或混雜多種語言的音訊就吃力，數字與符號有時也拿不到可靠的時間標記。
常見問題
不用。這套軟體以 Apache 2.0 授權開源，下載與執行都免費。要花錢的是你自行接上的外部服務，例如翻譯用的 LLM API，或配音用的付費文字轉語音供應商。
相關內容
探索與 VideoLingo 相關的工具、技能與文章。
VideoLingo 替代方案
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
MePersona
MePersona, Inc. · 寫作 · 生產力 · 行銷MePersona 是為創作者設計的 AI 統一收件匣。它學習你的說話方式，在 12 個平台上草擬粉絲訊息回覆，只送出你核准的內容。
Fluence
Yay Software (Yannick Huchard) · 寫作 · 語音與語言 · 生產力Fluence 是 Android 上的文件閱讀器，能朗讀 PDF、EPUB、Word 檔與網路文章，逐句跟著語音標示，並在手機上直接回答你對內容的提問。