Google Genie 2

Google Genie 2 parte de una sola imagen y construye un entorno 3D a su alrededor. ¿Y cómo consigues esa imagen? Puede venir de un modelo de texto a imagen o de una foto del mundo real. Describes un mundo con texto, eliges un render que te gusta y entras en él. Esa barrera de entrada tan baja es justo el punto, porque construir mundos a mano es el cuello de botella que el modelo intenta eliminar para quien necesita un flujo constante de entornos nuevos y variados en lugar de unos pocos muy trabajados.

El modelo responde a la entrada de teclado y ratón y deduce qué objeto controla realmente el jugador. Pulsa una flecha en una escena de bosque y se mueve el robot, no los árboles ni las nubes. Parece trivial. No lo es, porque al modelo nunca se le dijo qué píxeles son el personaje, y tiene que deducirlo solo a partir de la imagen antes de que cualquier acción signifique algo. Esa deducción es lo que hace que los mundos sean jugables y no solo mirables.

Genie 2 recuerda partes de un mundo que han salido de la pantalla y las vuelve a dibujar correctamente cuando regresas. Camina detrás de una casa. Date la vuelta. La casa sigue ahí, con los mismos detalles, y eso no es algo que un generador de vídeo normal pueda prometer. Esta consistencia es lo que separa un modelo de mundos de un generador de vídeo, y es la razón por la que los mundos generados aguantan como bancos de pruebas de agentes en vez de desmoronarse en cuanto cambia tu vista.

Desde el mismo fotograma inicial, puedes tomar acciones distintas y obtener resultados distintos. Eso da a los investigadores experiencias contrafactuales con las que entrenar, algo difícil de conseguir con vídeo grabado. El vídeo solo registra el camino que de verdad se siguió. No tiene ni idea de qué habría pasado si hubieras girado a la izquierda, y esa zona ciega es justo donde ayudan los contrafactuales. Si quieres saber cómo maneja un agente una rama que no tomó, esta es una forma de simularlo.

Genie 2 modela agua, humo, gravedad, iluminación, reflejos y resplandor sin que se le enseñe cada uno de forma explícita. Los globos estallan, las puertas se abren, los barriles explotan. Los comportamientos aparecen a escala en vez de estar programados a mano. No son perfectos, pero bastan para que los mundos se sientan como lugares con reglas, y esas reglas moldean cómo los agentes planean alrededor de obstáculos que ven y predicen, lo que es una cantidad sorprendente de estructura para un modelo que solo se entrenó para adivinar el siguiente fotograma.

El modelo puede simular NPC y las interacciones con ellos, además de animación de personajes para varios avatares. Para la investigación con agentes, eso importa porque muchas tareas implican lidiar con algo más que se mueve y reacciona. Genie 2 da hogar a esos escenarios sin necesidad de un estudio de juegos.

Los mundos pueden renderizarse en primera persona, isométrica o en tercera persona de conducción, y distintos avatares se animan según la indicación. Un avión de papel, un dragón, un halcón y un paracaídas tienen cada uno su propio estilo de movimiento. Esa variedad viene de la generalización fuera de distribución que permite que una pieza de arte conceptual se convierta en una escena jugable y funcional, y es la diferencia entre un modelo que copia sus datos de entrenamiento y uno que improvisa cuando la indicación lo lleva a un terreno nuevo y desconocido.