OmniHuman by ByteDance

OmniHuman은 리그나 모션 캡처 슈트, 배우가 찍힌 영상이 아니라 이미지 한 장에서 시작한다. 가로세로 비율과 인물이 잡힌 방식도 가리지 않아 얼굴 클로즈업, 상반신 인물 사진, 전신 사진이 그대로 쓰인다. 잘라낼 필요가 없다. 몸은 떠 있는 머리가 굳은 몸통 위에 얹히는 게 아니라 하나로 움직인다. 만드는 쪽 입장에서는 이미 가진 컷으로 시작할 수 있다는 뜻이다.

모델은 오디오를 읽고 입 움직임 이상을 만들어낸다. 이 오디오 기반 립싱크는 전신을 움직인다. 목소리가 제스처와 자세, 리듬에 맞는 작은 대기 동작을 이끈다. 노래도 소화하며 고음과 프레이즈 사이의 쉼까지 처리하고, 움직임은 곡조에 따라 달라진다. 입만 움직이는 단순 립싱크 필터와 갈리는 지점이 여기다.

혼합된 동작 신호로 학습해서 오디오에서 멈추지 않는다. 참조 영상을 따라 특정 신체 동작을 흉내 내고, 오디오와 영상을 섞어 목소리가 연기를 이끄는 동안 특정 제스처 같은 세부를 제어한다. 이런 유연성은 동작 조건을 각각의 전용 모델로 나누지 않고 섞어 학습하는 방식에서 나온다.

1.5 버전은 렌더링 전에 움직임을 계획하는 추론 단계를 더했다. 멀티모달 대규모 언어 모델이 이미지와 오디오, 텍스트 프롬프트를 읽고 캐릭터가 무엇을 언제 할지 구조화된 계획을 써낸다. 렌더러는 그 계획을 따른다. 편지를 읽는다는 한 줄이 손을 뻗고 뜯고 훑는 일련의 동작이 되고, 즉흥적인 제스처가 되지 않는다. 팀은 이 짝을 시스템1과 시스템2라고 부르며 빠른 사고와 느린 사고의 심리학에서 용어를 빌려왔다.

프롬프트를 써서 장면을 이끌 수 있다. 데모의 프롬프트는 느린 팬이나 핸드헬드 촬영 같은 카메라 움직임, 렌즈 쪽으로 돌아서기나 렌즈로 손 뻗기 같은 동작을 다룬다. 모델은 지시를 따르면서 립싱크를 유지하므로 카메라가 움직여도 캐릭터는 맞는 말에 입을 계속 맞춘다. 컷을 설계하는 사람에게 텍스트 한 줄이 화면의 초안이 된다.

OmniHuman-1.5는 각 오디오 트랙을 같은 화면의 맞는 캐릭터에게 보내 여러 사람이 있는 장면을 처리한다. 단체 대화와 앙상블 컷이 별도 클립을 잇지 않고도 성립한다. 양식화된 입력도 다뤄 카툰과 3D 캐릭터부터 실제 동물까지 소화한다. 인간의 틀을 강요하지 않고 대상마다의 스타일에 움직임을 맞춘다.

1.5 모델은 1분이 넘는 클립을 끊기지 않는 카메라 움직임과 복잡한 상호작용과 함께 생성한다. 많은 아바타 도구가 몇 초 루프에서 멈추는 것과 비교하면 훨씬 길다. 팀의 데모는 그 길이에 걸쳐 역동적인 움직임을 보여주며 천천히 흐르는 정지 자세가 아니다. 긴 영상은 이야기에 중요하다. 장면은 몇 초마다 처음으로 돌아가는 대신 숨 쉴 여지가 필요하다.