Google Genie 2

Google Genie 2 part d'une seule image et construit un environnement 3D autour d'elle. Et comment obtenir cette image ? Elle peut venir d'un modèle texte-image ou d'une photo du monde réel. Vous décrivez un monde en texte, vous choisissez un rendu qui vous plaît, puis vous y entrez. Cette barrière d'entrée très basse est justement l'idée, car construire des mondes à la main est le goulot d'étranglement que le modèle cherche à supprimer pour qui a besoin d'un flux constant d'environnements nouveaux et variés plutôt que de quelques-uns soigneusement travaillés.

Le modèle répond aux entrées du clavier et de la souris et détermine quel objet le joueur contrôle réellement. Appuyez sur une flèche dans une scène de forêt, et c'est le robot qui bouge, pas les arbres ni les nuages. Cela semble anodin. Ça ne l'est pas, car on n'a jamais dit au modèle quels pixels sont le personnage, et il doit le déduire de la seule image avant que la moindre action ait un sens. Cette déduction est ce qui rend les mondes jouables plutôt que simplement regardables.

Genie 2 se souvient de parties d'un monde sorties de l'écran et les redessine correctement quand vous revenez. Passez derrière une maison. Retournez-vous. La maison est toujours là, avec les mêmes détails, et ce n'est pas quelque chose qu'un simple générateur de vidéo peut promettre. Cette cohérence est ce qui distingue un modèle de mondes d'un générateur de vidéo, et c'est pourquoi les mondes générés tiennent comme bancs d'essai d'agents au lieu de s'effondrer dès que votre point de vue change.

À partir de la même image de départ, vous pouvez prendre des actions différentes et obtenir des résultats différents. Cela donne aux chercheurs des expériences contrefactuelles pour l'entraînement, ce qui est difficile à obtenir avec une vidéo enregistrée. La vidéo n'enregistre que le chemin réellement suivi. Elle n'a aucune idée de ce qui se serait passé si vous aviez tourné à gauche, et cet angle mort est exactement là où les contrefactuels aident. Si vous voulez savoir comment un agent gère une branche qu'il n'a pas prise, c'est une façon de le simuler.

Genie 2 modélise l'eau, la fumée, la gravité, l'éclairage, les reflets et le bloom sans qu'on lui ait enseigné chacun explicitement. Les ballons éclatent, les portes s'ouvrent, les barils explosent. Ces comportements apparaissent à grande échelle au lieu d'être codés à la main. Ils ne sont pas parfaits, mais ils suffisent à donner aux mondes l'air d'endroits dotés de règles, et ces règles façonnent la façon dont les agents planifient autour des obstacles qu'ils voient et prévoient, ce qui fait beaucoup de structure pour un modèle qui n'a jamais été entraîné qu'à deviner l'image suivante.

Le modèle peut simuler des PNJ et les interactions avec eux, ainsi que l'animation de personnages pour divers avatars. Pour la recherche sur les agents, cela compte, car beaucoup de tâches impliquent d'interagir avec autre chose qui bouge et réagit. Genie 2 donne un cadre à ces scénarios sans studio de jeux.

Les mondes peuvent s'afficher en vue à la première personne, isométrique ou en vue de conduite à la troisième personne, et différents avatars s'animent selon l'invite. Un avion en papier, un dragon, un faucon et un parachute ont chacun leur propre style de mouvement. Cette variété vient de la généralisation hors distribution qui permet à une illustration conceptuelle de devenir une scène jouable et fonctionnelle, et c'est la différence entre un modèle qui copie ses données d'entraînement et un modèle qui improvise quand l'invite l'emmène vers un terrain nouveau et inconnu.