PixVerse R2

R2는 글만이 아니라 연속 동작을 받는다. WASD로 캐릭터가 움직이고 방향키로 카메라 방향이 정해지며, 세계가 흐르는 동안 모델이 매 변화에 반응한다. PixVerse는 이 반복을 이동을 위한 짧은 생성 청크라고 설명한다. 그래서 조작감은 렌더링을 기다리는 쪽보다 게임에 가깝다.

텍스트 명령으로 차를 부르고 날씨를 바꾸고 주변 공간을 다시 정의할 수 있다. 세션은 초기화되지 않는다. 모델은 명령을 세계 상태의 갱신으로 처리하므로 다음 몇 초는 수정된 장면에서 이어진다. 인터랙티브 AI 영상과 다시 생성 버튼이 달린 클립 생성기의 실제 차이가 여기에 있다.

R2는 기억을 세 갈래로 나눈다. Sink Memory는 캐릭터 정체성과 환경, 세계 규칙 같은 닻을 보존한다. Rolling History는 최근 동작과 자세, 카메라 행동을 실어 나른다. Object KV Cache는 나중에도 중요한 물체 단위 상태를 유지한다. 덕분에 캐릭터는 여러 번 주고받아도 낯선 사람으로 바뀌지 않고 같은 인물로 남는다.

모델은 화면에 맞춘 소리를 함께 만든다. 나중에 음성 트랙을 입히는 방식이 아니다. 소리는 입력도 된다. 목소리와 환경음에는 글로는 다 전할 수 없는 박자와 의미가 담기기 때문이다. 인터랙티브 장면에서 발소리와 배경음, 대사가 화면의 사건과 맞아떨어진다.

자기회귀 모델에서는 작은 오차가 쌓이고, 몇 분씩 도는 세계에는 흐트러질 기회가 여러 번 있다. PixVerse는 Error Bank로 실제 실패 상태를 깨끗한 이력과 나란히 재생하며 R2를 학습시킨다. 오차가 이미 세계에 들어온 뒤에 되돌리는 힘을 익히게 하려는 것이다. 내부 단계 평가에서 장기 밝기 드리프트 지표는 0.201에서 0.129로 내려가 35.8% 줄었고, 긴 시퀀스 29개 중 20개가 개선됐다.

실시간 출력은 보통 더 작고 빠른 모델을 따로 학습해 얻는다. 대신 화질이 떨어진다. R2는 자기 인과 백본을 증류해 라이브용으로 쓴다. Block-sparse 어텐션은 현재 평가에서 토큰 사이 연결 대부분을 건너뛰면서 화질을 지키고, 거친 단계에서 세밀한 단계로 가는 피라미드가 저해상도에서 구도를 잡은 뒤 고해상도에서 세부를 되살린다. PixVerse는 내부 테스트에서 90%가 넘는 어텐션 희소성을 보고했다.