ToonCrafter AI는 무료인가

무료다. 코드와 모델 가중치가 오픈소스이고 내려받는 데 비용이 없다. 연구진에게 내는 돈은 없다. 하드웨어는 직접 마련해야 하고 상업적으로 쓰기 전에 저장소 라이선스를 확인하는 게 좋다.

NVIDIA GPU 없이 돌릴 수 있나

사실상 어렵다. 파이프라인이 CUDA를 전제로 하고, 저자들은 A100에서 50스텝 기준 약 24GB 메모리를 측정했다. 성능이 낮은 장비라면 클라우드 GPU를 빌리거나 Hugging Face의 커뮤니티 데모를 쓰는 방법이 남는다.

해상도와 길이는 얼마나 되나

최대 512x320, 클립당 16프레임이다. 초당 8프레임이면 2초 영상이 된다. 더 긴 동작은 여러 클립을 이어 붙여야 하고 이음매마다 품질이 떨어진다.

실사 영상에도 쓸 수 있나

손그림을 위해 만든 모델이다. 움직임 모델은 애니메이션으로 조정했고 디코더는 평평한 색과 깨끗한 선에 맞췄다. 사진을 넣어도 돌아가지만 카툰 사전 지식은 사실적 모델과 반대로 작동한다.

없다. 호스팅 API도 공식 웹 앱도 없다. 파이썬 코드를 직접 돌리거나 공개 가중치 위에 제3자가 만든 서비스를 쓰는 수밖에 없고, 후자는 팀이 지원하지 않는다.

일반 AI 영상 생성기와 무엇이 다른가

Runway나 Pika는 프롬프트나 이미지 한 장에서 움직임을 만들고 사실적이거나 CG 같은 결과를 노린다. ToonCrafter AI는 직접 그린 그림을 시작과 끝에 두므로 움직임이 자기 타이밍과 화풍 안에 머문다. 컷을 통째로 만드는 생성기가 아니라 애니메이션 조수다.

ToonCrafter AI

Tencent AI Lab, CUHK, City University of Hong Kong · 동영상

ToonCrafter AI는 카툰 그림 두 장 사이의 프레임을 채워 넣는 오픈소스 연구 모델이다. 자기 GPU에서 키프레임을 짧은 애니메이션으로 바꾼다.

도구 방문

ToonCrafter AI 소개

About

ToonCrafter AI란

ToonCrafter AI는 카툰 보간을 위해 만든 생성 모델 기반의 AI 애니메이션 도구다. 홍콩중문대, 홍콩시립대, Tencent AI Lab 연구진이 개발했고 SIGGRAPH Asia 2024에서 발표됐다. 시작 그림과 끝 그림을 넣으면 그 사이 그림을 추론한다. 출력은 512x320, 최대 16프레임짜리 짧은 클립이다.

바탕은 실사 영상으로 학습한 이미지 투 비디오 확산 모델이다. 팀은 이를 선이 또렷하고 색이 평평한 2D 그림에 맞게 다시 조정했고, 두 번째 디코더가 압축 과정에서 잃은 세부를 각 프레임에 되돌린다. 이 작업이 중요한 이유는 일반 영상 모델이 셀 셰이딩 캐릭터에서 윤곽을 뭉개고 색을 번지게 하기 때문이다. 그대로는 실제 제작에 쓸 수 없다.

쓰임새를 정하는 제약은 세 가지다. 모델이 물체를 이해하지 못해서 단단한 부품이 천처럼 휘기도 한다. 무언가 화면에 들어오거나 나가면 쉽게 무너진다. 길이는 16프레임에서 멈춘다. 애니메이션 클립 생성은 2초 남짓이 전부라 한 컷을 완성하지는 못한다. 공식 호스팅 서비스도 없다. README가 직접 그렇게 밝히니 "ToonCrafter" 이름으로 돈을 받는 사이트는 모두 제3자다.

시작하는 방법

GitHub 저장소를 클론하고 Python 3.8.5로 conda 환경을 만든 뒤 requirements.txt의 패키지를 설치한다.
Hugging Face에서 체크포인트를 받아 checkpoints/tooncrafter_512_interp_v1에 넣는다.
같은 캐릭터, 같은 화풍의 그림 두 장을 512x320 비율에 가깝게 잘라내고 움직임을 설명하는 짧은 프롬프트를 쓴다.
터미널에서 scripts/run.sh를 실행하거나 python gradio_app.py로 브라우저 화면을 열어 이미지를 올린다.
속도는 ddim_steps, 프레임 사이 움직임의 크기는 frame_stride로 조정한다. 영상은 results 폴더에 저장된다.

제품 정보

ToonCrafter AI의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.

무료 플랜예

유료 플랜$0 (open source)

플랫폼Windows, Linux (Python, NVIDIA GPU)

개발사Tencent AI Lab, CUHK, City University of Hong Kong

카테고리동영상

출시일May 2024

최근 업데이트May 2024

웹사이트 방문 수1.1K

웹사이트 글로벌 순위9.3M

API 제공 여부아니요

주요 기능

키프레임 두 장으로 동작 만들기

핵심 기능이며 AI 프레임 보간의 효과가 뚜렷하게 드러나는 지점이다. 그림 두 장을 넣으면 연속 프레임이 나온다. 가림과 폭이 큰 비선형 동작도 처리한다. 기존 프레임 혼합이 무너지는 지점이 바로 그 지점이다.

희소 스케치 유도

클립의 특정 순간에 거친 스케치를 한 장이나 여러 장 붙이면 모델이 그대로 따른다. 시간 위치와 방향을 프레임 단위로 정할 수 있다. 텍스트 힌트만으로는 닿기 어려운 영역이다. 걷기 사이클이나 손동작이라면 휘갈긴 선 두 개가 문단 하나보다 의도를 잘 전한다.

참조 이미지 채색

채색된 참조 이미지를 선화 애니메이션과 함께 넣으면 그 배색을 움직이는 프레임에 적용한다. 참조는 한 장이나 두 장 모두 되고 음영 제어가 쉽다. 스튜디오가 컬러 스크립트를 시험할 때 채색 담당자가 손대기 전에 쓰는 방식이다.

카툰에 맞춰 조정한 확산 모델

원래 이미지 투 비디오 모델은 실사에서 움직임을 배웠다. 팀은 엄선한 수십만 개 애니메이션 영상으로 보정 학습을 해서 움직임 사전 지식을 손그림 캐릭터에 맞췄다. 그 위에서 이중 참조 3D 디코더가 압축된 잠재 공간에서 버려진 세부를 되살린다.

로컬 브라우저 화면

저장소에 Gradio 앱이 들어 있다. 그림 두 장을 올리고 프롬프트를 넣은 뒤 생성 버튼을 누르면 설정 파일을 건드릴 필요가 없다. 명령줄은 같은 설정에 샘플러 제어까지 제공하니 화면은 빠른 테스트, 스크립트는 묶음 처리에 쓰면 된다.

코드와 가중치 공개

추론 코드와 체크포인트가 모두 공개돼 있다. 샘플러 동작을 읽고 부품을 바꾸거나 더 큰 도구에 붙일 수 있다. 공개 몇 주 만에 애니메이션 업계와 ComfyUI 커뮤니티로 퍼진 이유도 이 개방성이다.

장단점

장점

구독도 크레딧 제도도 없다. 체크포인트를 디스크에 두면 생성 비용은 전기세뿐이다.
가림과 큰 움직임을 일반 보간 모델보다 안정적으로 처리한다. 프로젝트 페이지에서 AnimeInterp, FILM, SEINE와 결과를 나란히 비교한다.
스케치 유도와 참조 채색은 프롬프트만 쓰는 영상 도구가 직접 겨냥하지 못하는 두 작업을 덮는다.
확산 모델 프로젝트치고 설치는 가볍다. 파이썬 환경 하나, 체크포인트 하나, YAML 한 장이면 된다.
출력이 재현 가능하고 변화는 시드가 통제한다. 동작이 마음에 들 때까지 같은 컷을 다시 돌릴 수 있다.

단점

16프레임, 512x320 상한은 저해상도 2초 남짓의 움직임이다. 컷을 끝내는 자리가 아니라 미리 보는 자리다.
참조 구현은 약 24GB GPU 메모리를 요구한다. 10GB에서 도는 커뮤니티 버전도 최신 NVIDIA 카드가 필요하다. 일반 노트북이라면 클라우드 GPU를 빌려야 한다.
모델이 물체를 이해하지 못하니 단단한 부품이 흔들리고 무언가 화면에 드나들면 깨진다. 쓸 만한 클립 하나에 시드를 여러 번 시도할 각오를 해야 한다.
설치는 개발자 작업이다. 공식 웹 앱이 없고 README도 이름을 쓴 유료 사이트가 팀과 무관하다고 경고한다.