Google Genie 2

Google Genie 2は1枚の画像から始め、その周りに3D環境を組み立てる。ではその画像はどう用意するのか。テキストto画像モデルからでも、実世界の写真からでもよい。テキストで世界を描写し、気に入ったレンダリングを選び、その中へ入る。この低い入口の敷居こそが要点だ。手作業で世界を作ることはボトルネックであり、このモデルはそれを取り除こうとしている。少数の丁寧に作り込んだ世界ではなく、新鮮で多様な環境の安定供給を必要とする人にとっての話だ。

モデルはキーボードとマウスの入力に反応し、プレイヤーが実際に操作しているオブジェクトを見分ける。森のシーンで矢印キーを押せば、動くのはロボットであり、木や雲ではない。些細なことに思える。そうではない。どのピクセルがキャラクターかをモデルは教わっておらず、行動が意味を持つ前に画像だけから推測しなければならない。その推測が、世界をただ眺められるものではなく遊べるものにしている。

Genie 2は画面から消えた世界の部分を覚えていて、戻ってきたときに正しく描き直す。家の裏に回る。振り返る。家は同じ細部のままそこにある。これは普通の動画生成器には約束できないことだ。この一貫性が世界モデルと動画生成器を分ける。生成された世界が視点を変えた途端に崩れず、エージェントの試験場として耐えられる理由でもある。

同じ開始フレームから、別の行動を取れば別の結果が得られる。これにより研究者は訓練に使える反事実的な経験を得る。録画した動画からはなかなか得られないものだ。動画は実際に進んだ道だけを記録する。左に曲がっていたらどうなったかは分からない。その死角こそ反事実が役立つ場所だ。エージェントが取らなかった分岐をどう扱うかを知りたいなら、これをシミュレートする一つの方法になる。

Genie 2は水、煙、重力、照明、反射、ブルームを、一つひとつ明示的に教わらずにモデル化する。風船は割れ、ドアは開き、樽は爆発する。これらの挙動は手でコードを書くのではなく、規模の中で現れる。完璧ではないが、世界を規則のある場所のように感じさせるには十分だ。その規則が、エージェントが見て予測できる障害物の周りをどう計画するかを形づくる。次フレームを当てることだけを訓練されたモデルから出る構造としては、驚くほど多い。

モデルはNPCとその相互作用をシミュレートでき、さまざまなアバターのキャラクターアニメーションも扱う。エージェント研究ではこれが重要だ。多くのタスクが、動いて反応する何かとのやり取りを含むからだ。Genie 2はゲームスタジオなしで、そうしたシナリオに居場所を与える。

世界は一人称、等角投影、三人称の運転視点で描画でき、アバターごとにプロンプトに応じて動きが変わる。紙飛行機、ドラゴン、タカ、パラシュートがそれぞれ独自の動き方を持つ。この幅は分布外汎化から生まれ、1枚のコンセプトアートが動作する遊べるシーンになる。訓練データを写すだけのモデルと、プロンプトが新しい未知の領域へ連れて行っても即興できるモデルの違いがそこにある。