Google Genie 2

Google Genie 2는 이미지 한 장에서 시작해 그 주위에 3D 환경을 세운다. 그 이미지는 어떻게 구할까. 텍스트-이미지 모델에서 나올 수도 있고 실제 사진일 수도 있다. 텍스트로 세계를 묘사하고, 마음에 드는 렌더링을 고른 뒤 그 안으로 들어간다. 이 낮은 진입 장벽이 핵심이다. 세계를 손으로 만드는 일이 병목이며, 이 모델은 그것을 없애려 한다. 소수의 정성껏 만든 세계가 아니라 새롭고 다양한 환경의 꾸준한 공급이 필요한 사람을 위한 것이다.

모델은 키보드와 마우스 입력에 반응하고 플레이어가 실제로 조작하는 대상이 무엇인지 알아낸다. 숲 장면에서 방향키를 누르면 움직이는 건 로봇이지 나무나 구름이 아니다. 사소해 보인다. 아니다. 어떤 픽셀이 캐릭터인지 모델은 배운 적이 없고, 행동이 의미를 갖기 전에 이미지에서 그것을 추론해야 한다. 그 추론이 세계를 보기만 하는 것이 아니라 플레이할 수 있게 만든다.

Genie 2는 화면 밖으로 나간 세계의 일부를 기억하고 돌아오면 제대로 다시 그린다. 집 뒤로 걸어간다. 돌아선다. 집은 같은 세부 묘사 그대로 남아 있다. 이는 평범한 영상 생성기가 약속할 수 없는 일이다. 이 일관성이 세계 모델과 영상 생성기를 가르는 기준이며, 생성된 세계가 시점이 바뀌는 순간 무너지지 않고 에이전트 시험대로 버티는 이유다.

같은 시작 프레임에서 서로 다른 행동을 하면 서로 다른 결과가 나온다. 이는 연구자에게 훈련에 쓸 반사실적 경험을 준다. 녹화 영상에서는 얻기 어렵다. 영상은 실제로 지나간 경로만 기록한다. 왼쪽으로 돌았다면 어땠을지는 전혀 모른다. 그 사각지대가 바로 반사실이 도움이 되는 곳이다. 에이전트가 택하지 않은 분기를 어떻게 처리하는지 알고 싶다면, 이는 그것을 시뮬레이션하는 한 방법이다.

Genie 2는 물, 연기, 중력, 조명, 반사, 블룸을 각각 명시적으로 배우지 않고 모델링한다. 풍선은 터지고, 문은 열리고, 통은 폭발한다. 이런 행동은 손으로 코딩하는 대신 규모 속에서 나타난다. 완벽하지는 않지만 세계를 규칙이 있는 장소처럼 느끼게 하기엔 충분하다. 그 규칙은 에이전트가 보고 예측할 수 있는 장애물 주위를 어떻게 계획하는지에 영향을 준다. 다음 프레임을 맞히도록만 훈련된 모델에서 나오는 구조로는 놀랄 만큼 많다.

모델은 NPC와 그들과의 상호작용을 시뮬레이션할 수 있고, 여러 아바타의 캐릭터 애니메이션도 처리한다. 에이전트 연구에서 이는 중요하다. 많은 과제가 움직이고 반응하는 다른 무언가를 상대하는 일을 포함하기 때문이다. Genie 2는 게임 스튜디오 없이 그런 시나리오에 자리를 마련해 준다.

세계는 1인칭, 등각 투영, 3인칭 운전 시점으로 렌더링할 수 있고, 아바타마다 프롬프트에 따라 다르게 움직인다. 종이비행기, 드래곤, 매, 낙하산이 각자 고유한 움직임 스타일을 갖는다. 이 폭은 분포 밖 일반화에서 나오며, 콘셉트 아트 한 장이 동작하는 플레이 가능한 장면이 되게 한다. 훈련 데이터를 베끼는 모델과, 프롬프트가 새로운 낯선 영역으로 데려가도 즉흥적으로 처리하는 모델의 차이다.