Facefusion

Facefusionは機能を個別のプロセッサに分けており、自由にオンオフし、重ねて使える。1つのジョブで顔を交換し、ディテールを高め、さらに年齢を変えることを一度の処理でこなせる。固定のワークフローに縛られない。実際に必要な工程の処理コストだけを払えばいい。

すべては自分のマシン上で動く。元画像、対象動画、完成した出力がドライブから出ることはない。機密性の高い素材を扱うときや、クラウドサービスにファイルを持たれたくないだけのときにも重要だ。引き換えに、性能はハードウェア次第になる。

プラットフォームには顔モデルのカタログが付属する。リストにはHyperSwapとGHOSTの交換ツール、GPENベースの顔アップスケーラー数種、Real-ESRGANなどのフレームツールが含まれる。既定のモデルに甘んじることなく、素材に合うモデルを選べる。新しいリリースでは選択肢が増え続けている。

専用のリップシンクプロセッサは音声トラックを取り込み、それに合わせて被写体の口の形を作り変える。クリップを別の言語に吹き替えたり、元の映像を保ったままセリフを差し替えたりするのに使う。これがプラットフォームの中核となるリップシンクツールだ。どれだけ自然に見えるかは、元の音声と映像がどれだけ鮮明かに大きく左右される。

Facefusionには、タスクのキュー投入、実行、再試行、一覧表示を行うコマンドラインのジョブシステムがある。長時間のバッチ実行なら、クリップの入ったフォルダを1つずつ見張らなくても一気に処理できる。小さな機能だが、扱うファイルが数個を超えると多くの時間を節約してくれる。

コマンドのフラグを覚えたくない人向けに、プログラムを起動するとブラウザにGradioのWebインターフェースが開く。モデルの選択から顔検出の順序まで、あらゆる設定をそこでクリックできる。初心者はUIを触って試せる。その後、同じ設定をコマンドに写せば繰り返し実行できる。

処理する顔を年齢と性別で絞り込み、検出器が走査する順序を制御し、信頼度のしきい値を設定できる。集合写真や混み合った場面では、この制御が、きれいな交換と顔が噛み合わない乱れとの差を生む。

後のバージョンでは、背景除去と、DeOldifyやDDColorといったモデルを引くフレーム着色機能が加わった。1つの流れで顔を交換しつつ被写体を切り抜いたり、2つ目のソフトを開かずに色あせたアーカイブ映像をよみがえらせたりできる。