VideoLingo
Huanshere · ライティング · 動画
VideoLingoは、動画のダウンロード、文字起こし、動画字幕翻訳、吹き替えを1回の実行でこなすAI字幕生成ツールで、無料のオープンソースとして公開されている。字幕ファイルか吹き替え済み動画を出力する。
VideoLingo について
What Is VideoLingo
VideoLingoは、1つのStreamlitウィンドウで動画を翻訳・字幕・吹き替え版に変えるツール。yt-dlpでの動画取得から、単語単位の音声認識、読みやすい字幕行への分割、翻訳、そして必要なら合成音声への差し替えまでを一続きで処理する。プロジェクトはGitHubのHuanshereアカウントで公開され、自分のマシン上で動き、Apache 2.0ライセンスで配布されている。
これまで翻訳者、編集者、声優が順番に手がけていた作業を1つにまとめたものだ。英語の動画をスペイン語や日本語の視聴者に届けたい人は、ローカルで実行すれば字幕ファイル、焼き込み字幕、吹き替え済みクリップを得られる。コンテンツチームはYouTubeへの投稿を動画ローカライズソフトとして扱う用途で使い、研究者は自分で録ったインタビューの字幕付けに使う。
制約は、依存している要素から生まれる。翻訳の質は接続するLLM次第で、認識にはクリーンな音声トラックが要り、吹き替えはコストがかかる。音声合成のほとんどが有料APIを経由するためだ。セルフホスト型でもあるので、計算資源とAPIキーは自分で用意する。GPUを使う重い処理はNVIDIAカードのあるマシンで速くなるが、既定の認識モデルはCPUでも動く。
Getting Started
- GitHubのreleasesページからソースコードのzipを落としてフォルダに解凍するか、リポジトリをcloneして uv run start.py を実行する。
- アプリを起動する。初回はPython 3.12、依存関係、FFmpegが自動でインストールされる。
- サイドバーにLLMのAPI URL、キー、モデル名を入力し、文字起こしのバックエンドを選ぶ。
- YouTubeのリンクかローカルファイルを指定し、対象言語を選んで処理を開始する。
- 字幕を確認し、字幕ファイルか吹き替え動画を書き出す。
AIツール情報
VideoLingoの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- YouTubeクリエイター：すでに公開した動画を8つの入力言語に展開できる。翻訳者を雇わずに済むが、LLMのAPIキーは必要。
- 動画編集者と字幕制作者：タイミングと分割を整えた字幕ファイルを生成し、あとから別の編集ソフトで微調整できる。1行ずつ手打ちしなくていい。
- 研究者と記者：インタビューやフィールド録音に字幕を付ける。ただし音源が認識モデルに耐えるくらいクリアな場合に限る。
- 小規模なローカライズチーム：限られた予算で短いクリップを他言語に吹き替えられる。ツール自体は無料で、コストがかかるのはTTSの呼び出しだけ。
タスク
- 動画字幕の翻訳：英語動画の字幕をロシア語、日本語、スペイン語などに変換し、ファイル全体で用語をそろえる。
- ワンクリックの吹き替え：AI吹き替えツールとして使う。元の音声を合成音声に差し替え、求める自然さに応じて複数のTTSプロバイダーから選ぶ。
- 字幕の分割：長い発話を長さ制限付きの1行字幕に切り分け、画面上で読みやすくする。
- 動画群のバッチ処理：ローカルHTTP APIで1ファイルずつ流し、やり直しが必要な工程ではキャッシュ済みの結果を使い回す。
シーン
- 多言語チャンネルの運営：1本の収録を複数の言語版にして、国内市場の外の視聴者に届ける。
- 外国語の講義を聴く：別言語で録られた講演の字幕を入手し、見ながら読み進める。
- SNS用クリップの準備：短い一場面を別言語に吹き替えて、別撮りのナレーションなしで投稿する。
- 研究素材の保管：インタビュー録音に正確な字幕を付け、何年後でも検索できるようにする。
主な機能
ワンクリックのパイプライン
字幕と吹き替えの一連の流れは、1つのStreamlitウィンドウで動く。YouTubeのリンクを貼るかローカルファイルを指定し、言語とモデルを設定すると、ダウンロード、認識、分割、翻訳、書き出しを順に処理する。各工程は結果をディスクに書き出すので、失敗した工程だけをやり直せる。全部を最初から流し直す必要はない。
単語単位の音声認識
認識はQwen3-ASRと強制アライナーを組み合わせる。時間を刻むのは文全体ではなく1語ずつだ。この精度があるから字幕が正しいタイミングで出る。モデルをローカルで動かしたくない場合は、音声をElevenLabsやMAI-Transcribe-2に送ることもできる。ただし音声が外部に出る点は覚えておきたい。
AIによる字幕分割
長い発話は1行の字幕に収まらない。NLPのルールとLLMの処理を組み合わせ、文字起こしを長さ制限付きの短く読みやすい字幕に切り分ける。考え方は人間の字幕編集者と同じだ。翻訳は分割の後に走るので、訳した字幕も元の発話のタイミングを保つ。
文脈を踏まえた翻訳
翻訳は既定で2段階に分かれる。独自の用語リストとAIが作る用語集が、固有名詞や専門語、繰り返し出る言い回しをファイル全体でそろえる。任意の振り返り工程では、機械的な訳文を自然な言い回しに書き直す。良いLLMがコストに見合うのはここだ。弱いモデルは平板で直訳調の字幕しか出さない。
複数プロバイダーの吹き替え
吹き替えは任意で、OpenAI TTS、Fish Audio、SiliconFlow、GPT-SoVITS、Edge TTSなど複数の音声エンジンに対応する。声の複製はGPT-SoVITSが最も優れるが、中国語と英語しか扱えない。他のプロバイダーはより多くの言語をカバーする。タイミングと話し方は翻訳と声に左右され、速度の調整で完璧な同期が保証されるわけではない。
ローカルHTTP API
自動化のために、VideoLingoは画面と同じ処理を共有するローカルHTTP APIを公開する。スクリプトやAIエージェントは1件ずつジョブを投げ、進捗を確認し、結果を取得し、失敗を再試行できる。旧来のExcelバッチ方式はこれに置き換わり、プロジェクトはもう推奨していない。
記録の永続化とタスク制御
各工程は進捗をディスクに記録するので、途中で一時停止、再開、停止し、あとから続きを進められる。モデルの成功応答はキャッシュされ、失敗後の再実行では完了済みの作業をそのまま使う。同じ翻訳に二度払いすることはない。
メリットとデメリット
メリット
- Apache 2.0で公開された無料のオープンソース字幕ツール。購読料も動画ごとの課金もない。
- すべて自分のマシンで動く。クラウドの認識やTTSを選ばない限り、素材は手元から出ない。
- 動画のダウンロードから吹き替えまでを1つのツールで担う。複数のアプリをつなぐ必要がない。
- モデル選択が自由で、OpenAI互換のLLMや複数のTTSバックエンドを接続できる。
デメリット
- インストールにはコマンドラインとAPIキーの扱いに慣れている必要があり、初回起動でつまずく人は多い。
- 翻訳と吹き替えの質は接続するモデルとサービス次第で、設定によって結果の差が大きい。
- 吹き替えでは話者ごとに別の声を割り当てないため、インタビューや座談会では物足りない。
- 認識は背景ノイズや言語が混ざった音声に弱く、数字や記号は正確な時間情報が付かないことがある。
よくある質問
無料だ。ソフトウェアはApache 2.0ライセンスのオープンソースで、ダウンロードも実行も費用はかからない。料金が発生するのは自分で接続する外部サービスで、翻訳用のLLM APIや吹き替え用の有料テキスト読み上げなどが該当する。
関連コンテンツ
VideoLingoに関連するツール、スキル、記事を探す。
VideoLingoの代替ツール
Emailwritr
Emailwritr · ライティング · マーケティングEmailwritrは、すでに持っているリストからより多くの収益を引き出したいアフィリエイター、コース制作者、オンラインビジネス向けに作られたAIメールコピーライティングツールだ。空白のページや汎用的なチャットボットのプロンプトの代わりに、このAIメール作成ツールは、著名なダイレクトレスポンスのコピーライターを手本にしたフレームワークから、ウェルカムシーケンス、ローンチキャンペーン、カート放棄メール、プロモシリーズを生成する。自分のオートレスポンダーをつなぎ、オファーについて2、3の質問に答えると、あとは文案を書いてくれる。
Swms
Swms AI · ライティング · 生産性向上 · ビジネスSwmsは、仕事の簡単な説明をそのまま使える安全書類に変えるAI安全コンプライアンスツールだ。プロジェクト、職種、把握している危険を書けば、安全作業方法書、作業ハザード分析、安全作業手順書、RAMS、安全データシートを数秒で作成する。Oscarというチャットアシスタントも付いており、職場の安全に関する質問にどんな言語でも答える。建設、鉱業、運輸、倉庫のチームが、作業日を削る書類仕事を減らすために使っている。
Prosp
Prosp · ライティング · 音声・言語 · マーケティングProspは、代理店や営業チーム向けに作られたAI LinkedInアプローチツールだ。見込み客ごとに自分の声でメッセージとボイスメッセージを書き、相手が本当に返信するように仕向ける。アカウントをつなぎ、リードを見つけ、AIにパーソナライズされたメッセージを大量に下書きさせて送信させる。すべて1つの受信トレイから行える。大量のアウトバウンドを回す人向けにできている。それがこの製品の売り込みのすべてだ。それでも各接点は人間らしく感じられなければならない。