Genmo Mochi 1

Genmo Mochi 1

Genmo · 動画

Genmo Mochi 1は、Genmoが公開したオープンソースのテキストから動画を作るモデルだ。書いたプロンプトを、動きの説得力が高い480pの短いクリップに変える。重みは無料でダウンロードできる。

Genmo Mochi 1 の画面プレビュー

Genmo Mochi 1 について

What Is Genmo Mochi 1

Genmo Mochi 1は、Genmoが手がけるAI動画生成モデルである。サンフランシスコのこのスタジオは、動画モデルの開発に絞って活動してきた。シーンを文章で描写すると、模型は動きの説得力がある短いクリップを描き出す。際立っているのは配布のしかただ。Genmoは重みをApache 2.0ライセンスで公開した。だから誰でもダウンロードし、実行し、個人利用でも商用でも改変できる。

このモデルが狙うのは、よくあるもどかしさだ。強力な動画生成ツールの多くは有料のクローズドサービスの中にあり、内部を覗くことも自分のプロジェクトに合わせて曲げることもできない。Mochi 1はモデルそのものを渡す。GenmoがAsymmDiTと呼ぶアーキテクチャに載った100億パラメータの拡散モデルである。ウェブサイトではなく、組み込みの部品として使える。

制約は正直で、先に知っておく価値がある。プレビュー版は最大480pで、クリップは30fpsで約5.4秒。自分で動かすには、コミュニティ版に頼らない限り、それ相応のハードウェアが要る。実写の映像は得意だがアニメーションは苦手で、複雑な動きは歪むことがある。

Getting Started

  1. 何もインストールせずプロンプトだけ試したいなら、Genmoのplaygroundにログインする。
  2. ローカルで動かすなら、GitHubからモデルのリポジトリを複製するか、Hugging Faceから重みを取得する。
  3. Python環境を整え、出力を動画ファイルに組み立てるためにFFMPEGを入れる。
  4. プロンプトを書き、組み込みのインターフェースかPython APIでクリップを生成する。解像度とフレーム数を選ぶ。
  5. 結果を書き出し、編集ソフトでカット、アップスケール、あるいは長い作品への結合を行う。

AIツール情報

Genmo Mochi 1の料金、対応プラットフォーム、性能を簡単に確認できます。

無料プランはい
有料プラン$0 - $20/mo
プラットフォームWeb (playground), self hosted on Linux with NVIDIA GPU
開発元Genmo
カテゴリ動画
リリース日Oct 2024
最終更新Nov 2024
サイト訪問数110.2K
サイト世界ランキング270.7K
API提供状況はい

こんな人におすすめ

このツールが最も力を発揮するユーザー、タスク、シーン。

ユーザー

  • AI研究者と開発者:重みとソースコードが公開されているため、現代的な動画拡散モデルを研究し、自分の製品に組み込める。ただしPythonとコマンドラインに慣れている必要がある。
  • 独立系の映像クリエイター:サブスクリプションなしで短いb-rollやコンセプト映像を作れる。代わりにハードウェアと生成時間を自分で見張ることになる。
  • 高性能GPUを持つ趣味の人:コミュニティ製ツールを使えば、コンシューマー向けカード1枚でもMochi 1を動かせる。クラウドではなく自宅で試せる。

タスク

  • 頭の中の映像を動くカットにする:シーンを描写すれば、動きが妥当なクリップが返ってくる。手描きや絵コンテよりずっと速い。
  • 広告やコンセプトビジュアルの試作:同じシーンをいくつも作り、方向性を提案してから本番制作に進むか決められる。
  • 動画拡散モデルの仕組みを学ぶ:アーキテクチャ、重み、コードがすべて公開されている。ブラックボックスではなく、生成動画を学ぶ題材になる。

シーン

  • 撮影前にアイデアを検証する:大まかなクリップを作り、カメラワークやライティングの構想が思い描いた通りに読めるか確かめる。
  • 研究用のパイプラインを組む:クローズドなAPIがデータやコンプライアンスの要件に合わないとき、このモデルを微調整したり自社の流れに組み込める。
  • AI動画生成を無料で体験する:ホスティングされたplaygroundなら何もダウンロードせずにいくつか試せる。ただし生成できる頻度は制限される。

主な機能

Apache 2.0によるオープンな重み

モデルの重みとソースコードはApache 2.0ライセンスで公開されている。サブスクリプションも使用料も、あなたとツールの間に立ちはだからない。オフラインで動かし、コードを読み、その上に商用作品を載せられる。この開放性こそ、Mochi 1がクローズドな動画生成ツールと一線を画す最大の理由だ。

AsymmDiTアーキテクチャ

Mochi 1はAsymmDiTで動く。Genmoが動画向けに設計した拡散Transformerである。マルチモーダルなアテンションでテキストと動画のトークンをまとめて扱うが、視覚側にはテキスト側よりはるかに大きな容量を割く。細部は視覚側にあるからだ。この非対称な設計がメモリ使用量を抑え、平坦なアーキテクチャでは破綻するハードウェアにモデルを収める。

精細な動きの再現

Mochi 1は静的な美しさではなく動きを重視して調整された。人が歩く、髪や布が揺れる、流体や毛皮が変化する。その一貫性は、初期のオープンモデルがなかなか届かなかった水準にある。Genmoによれば、動きの品質は主要なクローズド競合と比較して評価され、人の動きにおける不気味の谷を越えることを狙って作られたという。

プロンプトへの高い忠実さ

モデルは細かいプロンプトによく従う。人物、設定、動作を細かく制御できる。カメラアングルと特定の動作を書けば、出力はたいてい両方を守る。クリップが単に見栄えよくではなく、台本や絵コンテに合わせる必要があるとき、この精度が効いてくる。

圧縮動画VAE

Genmoはモデルの土台にある動画VAEもオープンソースにした。映像を128倍に圧縮し、空間と時間の細部を小さな潜在空間に畳み込む。メモリと計算の必要量が下がることで、データセンターの外でも動かせる。クラスタを持たない人にとって実用的な差になる。

コンシューマー向けハードウェアで動く

Genmoはプレビュー版をフルスピードで動かすには高性能GPUを複数枚要すると注記している。それでもコミュニティの統合版なら、動画メモリが十分なコンシューマー向けカード1枚で動く。ComfyUIを軸にしたツールが流れを簡素化しアテンションのバックエンドも足すため、家庭のユーザーはクラウドマシンを借りずにクリップを生成できる。

メリットとデメリット

メリット

  • 重みがApache 2.0で無料公開されているため、サブスクリプションも使用料も払わずにモデルを動かし改変できる。
  • 公開時の動きの品質とプロンプトへの忠実さは、主要なクローズド動画生成ツールに対抗できる水準だった。
  • 100億パラメータとオープンなコードは、研究や自前の動画機能づくりの土台として十分に本格的だ。
  • 映像を128倍に圧縮する動画VAEが、コンシューマーGPUでも扱えるところまでハードルの高さを下げる。

デメリット

  • 出力は480pが上限で、アップスケールなしでは大画面や放送には向かない。
  • クリップは約5.4秒で、b-rollやトランジション、コンセプトカット以外には短すぎる。
  • 複雑で速い動きは歪み、アニメーションや様式化された題材は実写映像より弱い。
  • セルフホストには相応のハードウェアとコマンドラインの慣れが要り、非技術系のユーザーは弾かれる。

よくある質問

Genmoが公開したオープンソースのAI動画生成モデルで、テキストのプロンプトを短いクリップに変える。100億パラメータの拡散モデルで動き、重みはApache 2.0ライセンスで誰でもダウンロードして使える。