DreamFace

他の機能はすべてここから派生する。ポートレートを上げ、台本を打つか音声を読み込むと、リップシンク、まばたき、自然な首振りを備えたクリップをDreamFaceが書き出す。声は男性・女性・子ども・キャラクターの音色に加え、多言語のテキスト読み上げ、有料プランでは声のクローンも使える。アバター動画ツールはDream Avatar 3.0で全身の動きまで扱い、首から上だけが喋るのではなく、身振りや重心移動まで再現する。

写真アニメーションだけでなく、このアプリはAI動画生成ツールとしても動く。テキストto動画と画像to動画を備えている。日常の言葉で場面を説明すれば、I Wantエージェントが登場人物の一貫した複数カットのクリップを組み立てる。静止画から始めてモデルに動きを足させることもできる。画像側は別枠で、テキストto画像、写真をアニメ調やフィギュア風に作り替えるAIフィルター、そして増え続けるモデル系ジェネレーターが並ぶ。

顔交換は写真でも動画でも効く。元クリップの動きと表情に自分の顔が追随し、合成時には肌の色と光の当たり方も合わせる。もう半分を担うのがテンプレート集で、ダンス、ハグ、キス、赤ちゃんポッドキャスト、ニュース風のイントロまで数百の場面が用意されている。何も書きたくない人にとってはテンプレートが最短ルートだ。

ペット用テンプレートは犬、猫、その他の動物の写真を喋る・歌うキャラクターに変え、口の動きを動物の顔に合わせる。まず娯楽目的であり、ペットが話す動画がショート動画のフィードを流れていく理由もそこにある。キスやハグのエフェクトも同じ棚にあり、2枚の写真を1つの場面にまとめる。

写真補正は古い写真や低解像度の画像をくっきりさせ、細部を取り戻す。昔の肖像なら着色と組み合わせる。背景除去は1回の処理で被写体を切り抜き、別の場面やテンプレートに載せられる。動画ツールの隣に置くと小道具に見えるが、元写真をアニメーションに使えるかどうかを決めるのはこの2つだ。

DreamAPIは本番向けの3つのエンドポイントを公開している。テキストや音声から喋る人物動画を作るリップシンク、参照動画でアバターを動かすDreamAct、生成とクローンを担うAI音声だ。課金はクレジット制で、100体以上の既製アバターがあり、生成5秒未満と稼働率99.9%を目標に掲げる。公式の用途にはソーシャルアプリ、eラーニング、EC広告、顔を持たせたいAIアシスタントが並ぶ。