Google Genie 2

Google Genie 2 startet mit einem einzigen Bild und baut eine 3D-Umgebung darum herum. Und wie bekommt man dieses Bild? Es kann aus einem Text-zu-Bild-Modell stammen oder aus einem echten Foto. Sie beschreiben eine Welt in Text, wählen ein Rendering, das Ihnen gefällt, und steigen dann hinein. Diese niedrige Einstiegshürde ist genau der Punkt, denn Welten von Hand zu bauen ist der Engpass, den das Modell beseitigen will, für alle, die einen stetigen Vorrat an frischen, abwechslungsreichen Umgebungen brauchen statt einer Handvoll sorgfältig gestalteter.

Das Modell reagiert auf Tastatur- und Mauseingaben und erkennt, welches Objekt der Spieler tatsächlich steuert. Drücken Sie in einer Waldszene eine Pfeiltaste, und der Roboter bewegt sich, nicht die Bäume oder die Wolken. Das klingt banal. Ist es nicht, denn dem Modell wurde nie gesagt, welche Pixel die Figur sind, und es muss das allein aus dem Bild ableiten, bevor irgendeine Aktion etwas bedeutet. Genau diese Ableitung macht die Welten spielbar statt nur anschaubar.

Genie 2 merkt sich Teile einer Welt, die den Bildschirm verlassen haben, und zeichnet sie korrekt neu, wenn Sie zurückkommen. Gehen Sie hinter ein Haus. Drehen Sie sich um. Das Haus ist noch da, mit denselben Details, und das kann ein gewöhnlicher Videogenerator nicht versprechen. Diese Konsistenz unterscheidet ein Weltmodell von einem Videogenerator, und deshalb halten erzeugte Welten als Testumgebungen für Agenten stand, statt zusammenzubrechen, sobald sich Ihr Blick ändert.

Vom selben Ausgangsbild aus können Sie verschiedene Aktionen ausführen und verschiedene Ergebnisse erhalten. Das gibt Forschern kontrafaktische Erfahrungen zum Trainieren, die sich aus aufgezeichnetem Video nur schwer gewinnen lassen. Video zeichnet nur den tatsächlich genommenen Pfad auf. Es weiß nicht, was passiert wäre, wenn Sie nach links abgebogen wären, und genau diese Lücke füllen Kontrafaktuale. Wenn Sie wissen wollen, wie ein Agent mit einem Zweig umgeht, den er nicht genommen hat, ist dies eine Möglichkeit, das zu simulieren.

Genie 2 modelliert Wasser, Rauch, Schwerkraft, Beleuchtung, Reflexionen und Bloom, ohne dass ihm jedes davon ausdrücklich beigebracht wurde. Ballons platzen, Türen öffnen sich, Fässer explodieren. Die Verhaltensweisen zeigen sich in der Masse, statt von Hand programmiert zu sein. Sie sind nicht perfekt, aber sie genügen, damit sich die Welten wie Orte mit Regeln anfühlen, und jene Regeln prägen, wie Agenten um Hindernisse herum planen, die sie sehen und vorhersagen, was erstaunlich viel Struktur ist für ein Modell, das nie etwas anderes lernen sollte, als das nächste Bild zu erraten.

Das Modell kann NPCs und Interaktionen mit ihnen simulieren, dazu Charakteranimation für eine Reihe von Avataren. Für die Agentenforschung ist das wichtig, weil viele Aufgaben den Umgang mit etwas anderem erfordern, das sich bewegt und reagiert. Genie 2 gibt solchen Szenarien ein Zuhause ohne Spielestudio.

Welten lassen sich in Ego-Perspektive, isometrisch oder als Third-Person-Fahransicht rendern, und unterschiedliche Avatare animieren je nach Prompt. Ein Papierflieger, ein Drache, ein Falke und ein Fallschirm bekommen jeweils ihren eigenen Bewegungsstil. Diese Bandbreite kommt aus der Out-of-Distribution-Generalisation, die ein Stück Konzeptkunst in eine funktionierende, spielbare Szene verwandelt, und sie ist der Unterschied zwischen einem Modell, das seine Trainingsdaten kopiert, und einem, das improvisiert, wenn der Prompt es an neues, unbekanntes Terrain führt.