Animate Anyone 2

인물 영상 생성기로서 이 모델은 동작만이 아니라 장면 맥락에 기댄다. 1세대 Animate Anyone에서 가장 큰 변화가 여기다. 배경을 조건 입력의 묶음으로 다루고, 구동 영상에서 환경을 끌어와 그것을 채우도록 캐릭터를 생성한다. 인물은 장면과 빛, 바닥 접촉, 깊이를 공유하고 위에 얹히지 않는다. 그린스크린 효과를 손으로 짜 본 사람이라면 여기서 시간이 가장 많이 절약된다.

가벼운 객체 가이드가 캐릭터가 상호작용하는 객체의 특징을 끌어오고, 공간 블렌딩으로 노이즈 제거 단계에 섞어 넣는다. 실제로는 이것이 컵을 감싼 손이나 스케이트보드에 디딘 발을 유지한다. 객체 접촉은 이미지에서 영상으로 만든 결과물이 가장 자주 무너지는 곳이고, 보여줄 수 있는 영상과 그렇지 않은 영상을 가르는 지점이기에 이 기능은 중요하다.

몸 윤곽에 꽉 맞추는 대신, 캐릭터와 주변 공간의 관계를 표시하는 마스크를 쓴다. 표준 실루엣에 맞지 않는 몸, 예컨대 다른 자세와 비율에도 더 너그럽다. 인물 가장자리를 깔끔하게 따기 어려울 때도 도움이 된다. 머리카락이 흐트러지거나 옷이 펄럭일 때 흔히 그렇다.

하나의 고정된 골격으로는 다루지 못하는 더 다양한 동작을 처리하려고 자세 변조 전략을 쓴다. 비틀기, 큰 팔다리 움직임, 빠른 방향 전환이 더 잘 살아난다. 이 덕분에 구동에 쓸 수 있는 영상의 폭이 넓어져, 차분한 대화 장면부터 전신 춤까지 아우른다.

근간에서 Animate Anyone 2는 구동 영상의 동작을 캐릭터 이미지로 옮긴다. 이미지의 생김새는 그대로 두고 영상에서 동작을 빌린다. 얼굴과 옷의 일관성은 프레임을 넘어 유지되고, Animate Anyone 계열 전체가 이를 토대로 세워졌다.

결과를 원본 이미지 배경이나 영상 배경 위에 생성할 수 있다. 이미지 배경은 인물을 자기 환경에 두고 싶을 때 맞고, 영상 배경은 참조 영상의 장면에 캐릭터를 넣는다. 매개변수는 하나뿐이고, 이것이 모델이 환경을 얼마나 재현할지를 정한다.

같은 기능은 AnimateAnyone gen2 모델로 제공되며, 이름은 animate-anyone-gen2, 알리바바 클라우드 Model Studio를 통해 쓴다. 호출은 비동기 작업으로 돌아간다. 작업을 넣고 결과를 조회한다. 애니메이션 API는 알리바바 클라우드 특정 리전에 있고 키는 가입한 리전에 묶여 있어, 리전을 넘는 호출은 실패한다.