Wan Animate

Wan Animate는 캐릭터 이미지 한 장과 참조용 연기자 영상을 받아 연기자의 표정과 움직임으로 캐릭터를 구동한다. 리깅도 하지 않고 키프레임도 넣지 않는다. 모델이 클립에서 움직임을 읽어 적용하기 때문에, 평범한 사진 하나로도 믿을 만한 결과가 나온다.

Mix Mode는 새 캐릭터를 움직이는 대신 기존 영상 속 캐릭터를 교체한다. 여기서 중요한 건 연속성이다. 도구가 원래 조명과 색조를 유지하기 때문에, 교체된 캐릭터가 위에 떠 있는 게 아니라 장면 안에 자리 잡는다. 덕분에 색보정 단계를 거치지 않고도 장면을 계속 쓸 수 있다.

모델은 입과 이의 움직임을 음성 트랙에 동기화한다. 말하는 캐릭터와 꼭두각시를 가르는 차이다. 연기자 클립에 발화가 있으면 Wan Animate는 그 입 움직임을 캐릭터로 옮겨, 결과가 자연스럽고 사실적인 말하기 연기로 읽힌다.

Wan Animate는 공간 정렬된 골격 신호로 신체 움직임을 구동한다. 얼굴 표정은 암묵적 얼굴 특징에서 얻는다. 쉽게 말해 "몸이 어떻게 움직이는가"와 "얼굴이 어떻게 보이는가"를 분리한다. 이렇게 해서 둘을 흐릿하게 섞는 대신 높은 수준으로 제어한다. 왜 굳이 나눌까. 모션 전송과 얼굴 복제는 서로 다른 방식으로 실패하기 때문에 각각을 따로 조정하고 싶기 때문이다.

재조명 층이 캐릭터의 모습을 환경의 조명과 색조에 맞춰 조정한다. 이것이 캐릭터를 장면에 놓은 게 아니라 장면에 속한 것처럼 보이게 만든다. Mix Mode의 교체에서 무거운 일을 하는 것도 같은 개념이다.

도구 전체가 Wan 2.2 Animate 모델로 돈다. 이 모델은 전문가 혼합 구조와 고압축 영상 생성을 쓴다. 이용자가 이것과 직접 상호작용하지는 않지만, GPU를 직접 관리하지 않고도 브라우저에서 고품질 캐릭터 영상을 만들 수 있는 이유가 여기에 있다.