LivePortrait

LivePortrait란

LivePortrait는 Kuaishou가 2024년 7월에 공개한 얼굴 애니메이션 모델이다. 정지 이미지 한 장과 누군가 얼굴을 움직이는 짧은 영상을 준비한다. 모델은 영상에서 움직임을 읽어 이미지 속 얼굴에 얹고, 사진이 말하고 눈을 깜빡이고 고개를 돌리는 새 클립을 내놓는다.

결과물은 필터보다 실제 연기에 가깝다. 얼굴의 정체성은 그대로다. 움직이는 건 표정과 머리 자세뿐이다. 사진 애니메이션 도구에서 이런 절제는 드물다.

가입하고 월 요금을 내는 웹사이트가 아니다. 코드와 사전 학습 가중치, Gradio 화면이 들어 있는 연구용 저장소이며 내 컴퓨터에서 돌린다. 월 요금은 없지만 설치와 그래픽카드, 파일 관리는 내 몫이다.

바탕은 확산 모델이 아니라 암시적 키포인트이고, 속도는 여기서 나온다. 공식 기술 보고서에 따르면 RTX 4090에서 프레임 한 장을 약 12.8밀리초에 만들며, 학습에는 약 6900만 장의 고품질 프레임을 썼다. 두 수치 모두 Kuaishou가 밝힌 값이고, 잘라내기와 영상 인코딩을 포함한 전체 과정이 아니라 추론 한 단계의 값이다.

시작하기

1. git, conda, FFmpeg를 설치하고 GitHub에서 Kuaishou의 LivePortrait 저장소를 받는다.
2. Python 환경(3.9 또는 3.10)을 만들고 활성화한 뒤 요구 사항 파일을 설치한다. 윈도우에서는 공식 원클릭 설치 파일로 대부분을 건너뛸 수 있다.
3. 사전 학습 가중치를 pretrained_weights 폴더에 내려받는다. 기본은 사람 모델이고 동물용은 따로 있다.
4. 원본 이미지와 참조 영상을 지정해 inference.py를 실행하거나, app.py를 띄워 브라우저에서 Gradio 화면을 연다.
5. 결과는 animations 폴더에서 가져오거나 화면의 내보내기 버튼을 쓴다.