Google Genie 2

O Google Genie 2 parte de uma única imagem e constrói um ambiente 3D ao redor dela. E como você consegue essa imagem? Ela pode vir de um modelo de texto para imagem ou de uma foto do mundo real. Você descreve um mundo em texto, escolhe um render de que gosta e entra nele. Essa barreira de entrada baixa é justamente o ponto, porque construir mundos à mão é o gargalo que o modelo tenta eliminar para quem precisa de um fluxo constante de ambientes novos e variados em vez de uns poucos muito trabalhados.

O modelo responde à entrada de teclado e mouse e descobre qual objeto o jogador está de fato controlando. Aperte uma seta em uma cena de floresta, e o robô se move, não as árvores nem as nuvens. Parece trivial. Não é, porque nunca se disse ao modelo quais pixels são o personagem, e ele tem que inferir isso apenas da imagem antes que qualquer ação signifique algo. Essa inferência é o que torna os mundos jogáveis em vez de apenas assistíveis.

O Genie 2 lembra partes de um mundo que saíram da tela e as redesenha corretamente quando você volta. Ande para trás de uma casa. Vire-se. A casa continua lá, com os mesmos detalhes, e isso não é algo que um gerador de vídeo comum pode prometer. Essa consistência é o que separa um modelo de mundos de um gerador de vídeo, e é por isso que os mundos gerados resistem como bancos de teste de agentes em vez de desmoronar no instante em que sua visão muda.

A partir do mesmo quadro inicial, você pode tomar ações diferentes e obter resultados diferentes. Isso dá aos pesquisadores experiências contrafactuais para treinar, algo difícil de conseguir com vídeo gravado. O vídeo só registra o caminho que de fato foi seguido. Ele não faz ideia do que teria acontecido se você tivesse virado à esquerda, e esse ponto cego é exatamente onde os contrafactuais ajudam. Se você quer saber como um agente lida com um ramo que não tomou, esta é uma forma de simular isso.

O Genie 2 modela água, fumaça, gravidade, iluminação, reflexos e brilho sem que se ensine cada um de forma explícita. Balões estouram, portas se abrem, barris explodem. Os comportamentos surgem em escala em vez de serem programados à mão. Não são perfeitos, mas bastam para que os mundos pareçam lugares com regras, e essas regras moldam como os agentes planejam em torno de obstáculos que veem e preveem, o que é uma quantidade surpreendente de estrutura para um modelo que só foi treinado para adivinhar o próximo quadro.

O modelo consegue simular NPCs e interações com eles, além de animação de personagens para vários avatares. Para a pesquisa com agentes, isso importa porque muitas tarefas envolvem lidar com algo mais que se move e reage. O Genie 2 dá um lar a esses cenários sem precisar de um estúdio de jogos.

Os mundos podem ser renderizados em primeira pessoa, isométrica ou em terceira pessoa de direção, e avatares diferentes se animam conforme o prompt. Um avião de papel, um dragão, um falcão e um paraquedas têm cada um o seu próprio estilo de movimento. Essa variedade vem da generalização fora da distribuição que permite que uma peça de arte conceitual vire uma cena jogável e funcional, e é a diferença entre um modelo que copia os dados de treino e um que improvisa quando o prompt o leva a um terreno novo e desconhecido.