Hunyuan-GameCraft

Hunyuan-GameCraft는 참조 이미지 한 장과 텍스트에서 출발해 움직이는 게임 장면을 생성한다. 프레임을 하나씩 애니메이션하는 게 아니다. 가벼운 동작 인코더가 입력을 읽고 카메라를 장면 안으로 이끈다. 본질적으로 카메라 제어 영상 모델이며, 결과물은 정지 이미지의 슬라이드쇼가 아니라 게임플레이처럼 보이는 영상이다. 이것이 모델의 핵심이고, 나머지 기능이 이를 받친다.

모델은 표준 키보드와 마우스 입력을 하나의 카메라 공간으로 모은다. 실제로는 좌우뿐 아니라 속도와 각도를 이해한다. 시점을 돌리면서 앞으로 나아가는, 진짜 플레이어가 무의식적으로 하는 조합 동작이 가능하다. 띄엄띄엄한 키 입력은 보간을 거쳐 매끄러운 카메라 움직임이 되고, 그것이 화면이 덜컹거리지 않게 막아 준다.

긴 영상은 대개 무너진다. 장면의 형태가 바뀌고, 물체가 사라지고, 세계는 몇 초 전 모습을 잊는다. Hunyuan-GameCraft는 하이브리드 히스토리 조건 학습 전략으로 원래 장면 정보를 지키면서 시퀀스를 자기회귀적으로 늘린다. 카메라를 돌렸다가 되돌리면 배치는 그대로 있다. 몇 분짜리 이동이 흐트러지지 않고 유지되는 이유가 여기 있다.

이 규모의 모델은 상호작용처럼 느껴지게 하려면 보통 데이터센터가 필요하다. Tencent는 긴 시퀀스에서 일관성을 지키면서 추론이 더 빠르고 가볍게 돌도록 증류했다. 그 결과 클러스터가 아니라 RTX 4090 같은 소비자용 카드에서 돌아간다. 부담을 낮춘 것이 연구용 데모와 개발자가 앉아서 몰 수 있는 것의 차이다.

이 프레임워크는 한 가지 시점에 머물지 않는다. 시청자가 카메라가 되는 1인칭 장면과, 화면에 캐릭터가 있고 카메라가 그를 따라가는 3인칭 장면을 모두 다룬다. 둘 다 같은 참조 이미지 설정에서 나온다. 게임이 카메라 스타일 하나만 쓰지 않기에 이 폭이 의미를 갖는다.

모델은 100개가 넘는 AAA 게임에 걸친 100만 건 이상의 플레이 녹화로 학습했고, 이후 정밀도를 높이려고 선별한 합성 데이터셋으로 미세 조정했다. 이 폭이 사실적인 거리부터 양식화된 마을까지 다양한 아트 스타일을 다루고, 그 사이에서 시각적 충실도를 지키는 이유다.