PixelDance & Seaweed
ByteDance · 動画
PixelDanceとSeaweedは、ByteDanceのAI動画生成モデルのペアで、テキストと画像のプロンプトを短く高品質なクリップに変えるために作られた。二重人格のAI動画生成ツールだと考えればいい。PixelDanceはマルチショットの物語性とカメラ制御に傾き、1つのプロンプトでシーンをいくつものアングルへ運ぶ。Seaweedは画像から動画の側に重心を置き、与えた画像に最初のフレームを近づける。どちらもByteDanceの制作プラットフォームDreamina（即夢）の中にあり、無料で試せる。
PixelDance & Seaweed について
PixelDanceとSeaweedとは
PixelDanceとSeaweedは、ByteDanceのSeed研究チームによるテキストから動画、画像から動画の2つのモデルだ。同じ発表の流れから生まれ、2024年9月に一緒に公表され、同年11月にDreaminaを通じて一般公開された。インストールするアプリではない。制作プラットフォームを通じて辿り着くモデルであり、そこで表示される名前はPixelDanceが「Video P2.0 Pro」、Seaweedが「Video S2.0 Pro」だ。ByteDanceの動画モデルへのアクセスはこういう仕組みになっている。モデルはプラットフォームの中で選ぶもので、ストアから取るものではない。
両者の違いは共通のブランドより重要だ。PixelDanceは動きと物語のために作られた方で、1本の10秒クリップの中で複数のショットを切り替え、そのカットをまたいで主要な被写体、視覚スタイル、雰囲気を保つ。Seaweedは一貫性が売りだ。画像から動画を最も得意とし、元画像の色、ディテール、構図を合わせながら自然な動きを加える。始点に応じて選べばいい。
引っかかるのはアクセスの点だ。これらのモデルはまずByteDance自身の製品の中にあり、使い方も料金も適用される制限も、モデルそのものではなく通すプラットフォームによって決まる。広く一般公開される前の早期アクセスは、クリエイターと企業向けにDreaminaとVolcano Engine Arkを通じて提供された。
はじめ方
- Web版のDreamina（即夢）にアクセスするかモバイルアプリを入れ、ByteDanceが対応するアカウントでサインインする。
- 動画生成パネルを開き、モデルを選ぶ。PixelDanceならVideo P2.0 Pro、SeaweedならVideo S2.0 Proだ。
- 被写体、動作、カメラの動きを書いたプロンプトを作る。静止画から始めたいなら画像をアップロードする。
- アスペクト比、長さ、スタイルを設定し、クリップを生成する。
- 結果をプレビューし、編集に合うバージョンをダウンロードする。
AIツール情報
PixelDance & Seaweedの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- ショート動画のクリエイター：PixelDanceのマルチショット対応があれば、別のツールなしでアングル間を切れる。無料のDreamina枠でワークフローを試すには十分だ。
- SNSマーケター：Seaweedは商品写真を動くクリップに変え、色とディテールを原本に近づける。撮り直しの手間が減る。
- 物語を作る人や趣味のアニメーター：モデルはカットをまたいで被写体と雰囲気を保つので、本格制作に踏み切る前にシーンを粗く形にできる。
タスク
- 静止画を動きに変える：Seaweedは最初のフレームを入力に忠実に保つ。人物写真、商品カット、コンセプトアートに向く。
- 1つのプロンプトで多角的なシーンを作る：PixelDanceはショットの切り替えや、ズーム、パン、追従といったカメラの動きを1本のクリップ内で処理する。
- 絵コンテのアイデアを試す：本番撮影の前に、10秒程度の粗いシーケンスを生成してテンポと構図を確かめる。
シーン
- 日々のSNS投稿：最終的な磨き上げより速さがものを言うフィード向けの素早いクリップ。
- 初期の広告・製品コンセプト：スタジオもクルーもなしでプロモ動画を粗く形にする。
- 教材・解説コンテンツ：図や写真を、アイデアを動きで見せる短いクリップに変える。
主な機能
ネイティブなマルチショット物語
PixelDanceは、1本の連続した長回しではなく、繋がった複数のショットを1つのクリップ内で生成できる。カメラがアングル間を動く間も、主要な被写体、視覚スタイル、空気感を一貫させる。ここが難しいところだ。多くのツールはアングルが変わった瞬間に被写体を失う。クリエイターにとっては、本当にカットのある粗いシーンが、後で繋ぎ合わせる複数回の生成ではなく、1つのプロンプトから出てくるということだ。
最初のフレームを保つ画像から動画
画像から始める場合、Seaweedは2つの中で強い方だ。入力画像の色、光、ディテールを再現しながら、自然に見える動きを加える。ここは重要だ。最初のフレームが歪めばクリップは台無しになる。ワークフローがデザイン、写真、コンセプトアートから始まるなら、これが選ぶべきモデルだ。
カメラ制御とショットの言語
両モデルはプレーンテキストからカメラの指示を読む。ズーム、オービット、パン、追従ショット、スケール変更を求めれば、本物のカメラワークから来たように読める結果が返る。これが使えるクリップと硬いスライドショーを分ける。
複数被写体と複雑な動作の処理
PixelDanceは動く要素が2つ以上あるシーンのために作られている。被写体同士の絡みを演出し、1つのプロンプトでより長い動作の連なりを運べる。単発の静止した動作ではなく、会話のような瞬間や振り付けのある動きに向く。複数の人物、1つのプロンプト。タイミングがすべてだ。決まれば、結果は生成されたものではなく演出されたものに感じられる。
スタイルの幅
モデルは写実からアニメーション、様式化されたアートまで、幅広い見た目をカバーする。スタイルはプロンプトで操るので、同じ被写体でもツールを替えずにドキュメンタリーのショットにも卡通にも読める。スタイルは設定ではなくキーワードだ。シンプルに保てばいい。
Dreaminaを通じたプラットフォームアクセス
両モデルにはWebとモバイルのDreamina（即夢）から到達でき、法人アクセスはVolcano Engine Arkを通る。インストールするものはなく、モデル自体に別途のサブスクもない。試したい人の入口が低く保たれる。ダウンロードなし。セットアップなし。
メリットとデメリット
メリット
- 1つのプロンプトからのマルチショット生成が、手作業の繋ぎ合わせを省く。
- Seaweedは画像から動画の出力を、元フレームの色とディテールに近く保つ。
- カメラ制御はプレーンテキストで動くので、動きを得るのにタイムライン編集が要らない。
- Dreaminaを通じた無料アクセスが、両モデルを試すコストを下げる。
- 単純な動画ツールがつまずく複数被写体のシーンを扱える。
デメリット
- モデルは単体製品ではないので、料金と制限はByteDance直ではなくホスト側プラットフォームに従う。
- クリップは短いままで、長尺の仕事は今も複数回の生成を繋ぐ必要がある。
- プロンプトの質が仕事の大半を決めるので、丁寧なプロンプトと雑なプロンプトで結果が大きく変わる。
- 英語のドキュメントは中国語より薄く、一部の機能は元の発表記事の方が見つけやすい。
よくある質問
PixelDanceは動き、マルチショットの連なり、カメラ制御を軸に作られ、Seaweedは画像から動画と元フレームへの忠実さに集中する。動きと物語の要所にはPixelDance、静止画を動きに変えるにはSeaweedを選ぶといい。
関連コンテンツ
PixelDance & Seaweedに関連するツール、スキル、記事を探す。
PixelDance & Seaweedの代替ツール
Vadu AI
Vadu AI · 画像 · 動画Vadu AIは、書いたプロンプトや静止画を短いクリップに変えるウェブベースのAI動画ジェネレーターで、単体で画像を生成することもできる。作りたい内容を打ち込み、モデルとスタイルを選べば、プラットフォームが数分で結果を書き出す。無料プランは軽い試し書きをまかなえる範囲で、有料プランは消費するクレジットに応じて月9ドルから77.40ドルまで幅がある。
Mykaraoke Video
MyKaraoke Video · 動画Mykaraoke Videoは、オンラインで使えるカラオケ動画・歌詞動画メーカーだ。どんな曲でも、ブラウザ上で歌詞を同期した完成動画に変える。面倒な部分を代わりに処理してくれる。AIがミックスからボーカルを抜き出し、歌詞をビートに合わせ、その後で背景やフォント、色をカスタマイズしてから1080pのMP4で書き出せる。SNS向け、パーティー用、音楽プロモーション用に歌詞動画を作るなら、ソフトのインストールも手作業のタイミング合わせも丸ごと省ける。 一晩を丸ごと奪わないカラオケ動画ジェネレーターが欲しい？それがこのツールの売りだ。
Finalframe
Finalframe · 動画Finalframeは、動画クリップから正確なフレームを取り出すための無料ブラウザツール群だ。最も有名な機能である「最後のフレーム抽出」では、あらゆる動画の最後のフレームを取り出し、Luma Dream Machine、Runway、KlingといったAI動画ツールの開始画像として使える。クリップを続けたいなら、その最後のフレームが起点になる。ツールは自分のブラウザ上で動き、登録も費用も不要だ。同じチームによる別の有料AI動画生成アプリは、作り直しのため現在オフラインだ。