SkyReels

シーンを描写するか静止画を上げると、SkyReelsがプロンプトに合った動き、カメラワーク、照明を生成する。画像から動画は元写真の構図を保つため、商品写真やキャラクターデザインがすでにある場合に強い。どちらのモードにもSNS向けと映画風の長さ・比率が用意されている。

参照画像による動画生成はV3で入り、V4にも引き継がれている。1枚から4枚の参照画像とプロンプトを渡すと、人物、物体、背景の同一性をショット全体で保つ。シリーズ作品を作る人が単純な画像から動画ではなくこれを選ぶ理由がここにある。

V4は二つのストリームで動く。一方が映像を、もう一方が時間的に揃った音声を作り、両方が同じテキストエンコーダーを読む。出力にはセリフ、環境音、音楽を一回のレンダリングで含められる。音声リファレンスを渡して結果を誘導することもできる。

ポートレート一枚と音声トラックを上げると、AIアバターのモデルが顔、口、頭の動きを音に合わせる。話し声、ナレーション、歌に対応し、19Bモデルは人物のアップ向けに作られている。撮影なしでプレゼンターのクリップを作る最短の道だ。

短いクリップで一つのシーンを覆うのは難しい。動画延長は既存のショットを続ける機能で、強い導入から長いシーケンスを組み立てられる。SkyReelsは最初と最後のフレーム制御も用意しており、トランジションの始点と終点を決めて中間をモデルに埋めさせられる。

動画から動画は既存のクリップを別のスタイルや変更した要素で作り直す。マスクを使えば、撮り直さずに物体を消し、ロゴを差し替え、一部を修復できる。V4は生成、マスク、編集を一つの流れとして扱うため、同じプロジェクトから離れずに済む。