HunyuanVideo-Avatar

핵심 원리는 말하기 쉽고 해내기 어렵다. 인물 사진 한 장과 음성 트랙 하나를 넘기면 입모양이 음성에 맞고 몸동작이 자연스러운 말하거나 노래하는 영상을 돌려준다. 크기와 해상도가 다른 이미지를 받으므로 좁게 자른 사진도 전신 샷도 입력으로 쓸 수 있다. 촬영 하루를 아껴 주는 기능이며, 멈춰 있는 사진이 촬영한 연기를 대신한다.

음성 감정 모듈이 감정 단서를 읽어 캐릭터 얼굴에 얹는다. 표정은 평평하게 머무르지 않고 음성의 분위기를 따라간다. 참조 이미지가 그 감정을 이끌므로 같은 대사도 무엇을 넣느냐에 따라 밝게도 차분하게도 들린다. 딱딱한 아바타가 대본을 읽는 걸 본 사람이라면, 여기가 결과를 살아 있게 만드는 부분임을 알 것이다.

다인 모드는 여러 사람이 한 장면을 나누게 하고 각자를 자기 음성으로 움직인다. 예전 모델이 갈라 놓기 어려워하던 지점이다. 얼굴을 인식하는 음성 어댑터가 얼굴마다 마스크를 씌워 한 캐릭터의 목소리가 다른 캐릭터의 입으로 새지 않게 한다. 이 덕분에 두 진행자 팟캐스트나 주고받는 인터뷰가 손으로 맞춰야 하는 클립 두 개가 아니라 영상 하나로 나온다. 단순한 얼굴 바꾸기 도구보다 이 모델을 고르는 가장 큰 이유다.

모델은 실사 얼굴, 일러스트, 3D 렌더, 의인화 캐릭터에서 똑같이 작동하므로 양식화한 마스코트도 실사 진행자와 같은 입과 움직임 처리를 받는다. 인물, 상반신, 전신 구도로도 생성해 말하는 머리 하나로 부족할 때 힘이 된다. 입력에서 타협이 줄어드는 만큼 도구에 맞추지 않고 자기 작품의 화풍을 지킬 수 있다.

생성된 클립은 멈춘 그림에 얼굴을 붙인 게 아니라 전경과 배경 모두에 움직임을 담는다. 캐릭터가 움직이고 장면이 흐르며 결과는 최대 720p로 버틴다. 대가는 무게다. 움직임이 많은 생성이야말로 모델을 GPU 메모리에 굶주리게 하는 원인이라, 가장 번잡한 장면일수록 가진 것 중 가장 좋은 카드를 요구한다.

추론 코드와 모델 가중치가 공개되어 Tencent 조건에 따라 개인 및 상업적 사용이 허락된다. 자기 하드웨어에서 전부 돌리고 속을 살피며 자기 데이터로 미세 조정할 수 있다. 얼굴과 목소리를 제3자 서비스에 보내고 싶지 않은 팀에 이 개방성이 가장 큰 매력이며, 모델이 연구 커뮤니티에서 빠르게 퍼진 이유이기도 하다.