PERSO.ai - AI dubbing with lip sync
ESTsoft Inc. · 動画
PERSO.aiはESTsoftのAI吹き替えプラットフォームだ。音声クローンとリップシンクで動画を99以上の言語へ翻訳する。無料プランがある。
PERSO.ai - AI dubbing with lip sync について
About
PERSO.aiとは
PERSO.aiは、ALSeeなどデスクトップソフトを手がけてきた韓国のソフトウェア企業ESTsoft Inc.が作った動画ローカライズのプラットフォームだ。主力のPerso Dubbingは、編集済みの動画を受け取り、画面の人物が別の言語を話しているように見える翻訳版を返す。同社はほかにAIアバター、会議のリアルタイム吹き替え、同時通訳のツールも出しているが、利用者の多くは吹き替え目当てで登録する。
狙っているのは手間とコストだ。従来の吹き替えには声優、スタジオ、数週間のポストプロダクションが要る。PERSO.aiはこれを自動処理に置き換える。動画を上げ、訳す言語を選ぶと、システムが音声を翻訳し、話者の声をクローンし、新しい言葉に合わせて口の動きを描き直す。同社いわく、スタジオ料金の何分の一かで済み、99以上の言語をカバーする。
いくつかの限界は先に押さえておきたい。出力の質は元音声のきれいさに左右され、顔が大きく隠れていたりカメラが速く動いたりするとリップシンクが弱くなる。生成は無制限ではなくクレジット制で、無料プランは吹き替え1本ぶんだ。放送品質で納品するなら、人の確認を挟む方が安全だ。
始め方
- perso.aiでメールかソーシャルログインで登録する。新規アカウントには無料の吹き替えが1本付く。
- 動画か音声ファイルを上げるか、YouTube、Google Drive、TikTokのリンクを貼る。
- 訳す言語と声を選ぶ。自動でクローンした元の声か、ライブラリの声か。
- AIが作った台本と字幕を確認し、気になる行を編集する。ナレーションはすぐ反映される。
- 吹き替えた動画をMP4、MOV、WebMで書き出す。字幕は焼き込むかSRTファイルとして別に出す。
AIツール情報
PERSO.ai - AI dubbing with lip syncの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- YouTubeやSNSのクリエイター：月のクレジット内なら、1本の動画を声優なしで99以上の言語版にできる。
- マーケティングや広告の担当者：言語ごとに人を探さず、キャンペーン動画を数分で新市場向けに展開できる。
- 講座制作者や研修担当：eラーニングや社内研修を世界のスタッフ向けに吹き替え、字幕出力でアクセシビリティも確保できる。
- メディアやゲームのスタジオ：予告編、インタビュー、ゲーム映像をローカライズできる。量が多い場合はEnterpriseが向く。
タスク
- リップシンク付きの動画翻訳：画面の人物の口の動きを新しい言語に合わせる。
- 音声クローン：話者の声質とアクセントを保ち、吹き替えでも本人に聞こえるようにする。
- 字幕の生成と編集：SRTを作り、機械翻訳の不自然な行を書き出す前に直す。
- リンクからの吹き替え：YouTube、Google Drive、TikTokから落とさずに直接取り込む。
シーン
- 毎週のSNS投稿：複数市場のチャンネル向けに、クリップをいくつかの言語へまとめて展開する。
- 説明動画のローカライズ：デモやオンボーディング動画を海外顧客向けに吹き替える。
- 研修の展開：録画した1本の講座を多言語の音声に変え、各地のチームへ配る。
- 多言語のライブ会議：Perso LiveDubをZoomやGoogle Meetに組み合わせ、音声と顔をリアルタイムで吹き替える。
主な機能
高い一致率の音声クローン
PERSO.aiは話者の声質、アクセント、トーンを学習し、翻訳した音声で使い回す。同社は音声一致率98.5%とうたうが、これは自社の数字で第三者の検証ではない。吹き替えた動画が、汎用のナレーターではなく元の人物の声に聞こえるのはこのためだ。
画面の人物向けリップシンク
顔が見える場合、プラットフォームは訳した音声に合わせて口の動きを描き直す。単純なAIナレーション差し替えツールとの違いはここで、あちらは元の口の動きを残して視聴者の我慢に頼る。正面できれいな映像ほど結果が良い。
99以上の吹き替え言語
プラットフォームは99以上の言語に吹き替えられ、日本語、英語、スペイン語、フランス語、ドイツ語、韓国語、ポルトガル語、ヒンディー語、アラビア語、トルコ語などを含む。音声認識は100以上に対応する。これだけの幅があると、1チームで主要市場のほぼすべてを、地域ごとの別工程なしでまかなえる。
台本のリアルタイム編集
AIが訳した台本を書いたあと、どの行も自分で書き直せる。機械翻訳が崩した用語、ブランド名、ジョークを数秒で直せ、ナレーションは編集に合わせて作り直される。書き出し前の質の管理はここが本番だ。
字幕と文字起こしのツール
吹き替えに加えて、PERSO.aiは字幕生成と文字起こしのツールとしても使える。字幕エディタと翻訳機能が付く。字幕を動画に焼き込むか、字幕を前提とするプラットフォーム向けにSRTを別ファイルで書き出せる。音声分離と音声認識も同じスイートに入る。
複数形式での書き出し
完成した動画はMP4、MOV、WebMで出せる。無料と下位プランは解像度に上限があり、上位プランは4Kまで届く。SRTを別に出す選択肢は、字幕を映像に焼かず単体ファイルで欲しいチャンネルに効く。
PERSO.aiの関連製品
吹き替え以外に、ZoomやGoogle Meetの会議でリアルタイム吹き替えをするPerso LiveDub、タブレットやキオスクで32言語の双方向通訳をするPerso Live Translator、韓国語のAIアバターを作るStudio Persoがある。アカウントは共通だが、別のツールとして売られている。
メリットとデメリット
メリット
- 吹き替え、音声クローン、リップシンクを1つの自動処理にまとめ、複数ベンダーを組む手間を省く。
- 99以上の吹き替え言語に対応し、1チームで世界の主要市場をほぼカバーできる。
- 無料プランに吹き替え1本分が付き、課金前に品質を確かめられる。
- AI処理後の台本編集で、用語とトーンを実際にコントロールできる。
- 開発者向けのDubbing APIが公開され、処理の自動化を狙うチームが使える。
デメリット
- 音声一致率98.5%は提供元の主張で、実際の質は元音声によって変わる。
- 顔が大きく隠れた映像、横向き、速い動きではリップシンクが弱くなる。
- 月のクレジットが吹き替え量の上限になり、長い動画はすぐ消費する。
- 無料プランは生成1本ぶんで、規模を試すには有料プランが要る。
よくある質問
PERSO.aiは、動画と音声を99以上の言語へ翻訳し、元の話者の声をクローンして口の動きを新しい音声に合わせるAI吹き替えプラットフォームだ。開発はESTsoft Inc.で、主力製品はPerso Dubbing。
関連コンテンツ
PERSO.ai - AI dubbing with lip syncに関連するツール、スキル、記事を探す。
PERSO.ai - AI dubbing with lip syncの代替ツール
Vadu AI
Vadu AI · 画像 · 動画Vadu AIは、書いたプロンプトや静止画を短いクリップに変えるウェブベースのAI動画ジェネレーターで、単体で画像を生成することもできる。作りたい内容を打ち込み、モデルとスタイルを選べば、プラットフォームが数分で結果を書き出す。無料プランは軽い試し書きをまかなえる範囲で、有料プランは消費するクレジットに応じて月9ドルから77.40ドルまで幅がある。
Mykaraoke Video
MyKaraoke Video · 動画Mykaraoke Videoは、オンラインで使えるカラオケ動画・歌詞動画メーカーだ。どんな曲でも、ブラウザ上で歌詞を同期した完成動画に変える。面倒な部分を代わりに処理してくれる。AIがミックスからボーカルを抜き出し、歌詞をビートに合わせ、その後で背景やフォント、色をカスタマイズしてから1080pのMP4で書き出せる。SNS向け、パーティー用、音楽プロモーション用に歌詞動画を作るなら、ソフトのインストールも手作業のタイミング合わせも丸ごと省ける。 一晩を丸ごと奪わないカラオケ動画ジェネレーターが欲しい？それがこのツールの売りだ。
Finalframe
Finalframe · 動画Finalframeは、動画クリップから正確なフレームを取り出すための無料ブラウザツール群だ。最も有名な機能である「最後のフレーム抽出」では、あらゆる動画の最後のフレームを取り出し、Luma Dream Machine、Runway、KlingといったAI動画ツールの開始画像として使える。クリップを続けたいなら、その最後のフレームが起点になる。ツールは自分のブラウザ上で動き、登録も費用も不要だ。同じチームによる別の有料AI動画生成アプリは、作り直しのため現在オフラインだ。