ToonCrafter
Tencent AI Lab, The Chinese University of Hong Kong, City University of Hong Kong · 동영상
ToonCrafter는 Tencent AI Lab과 홍콩중문대가 공개한 무료 오픈소스 모델이다. 카툰 키프레임 두 장에서 중간 프레임을 만들어 시작 원화와 끝 원화를 짧은 영상으로 이어 준다.
ToonCrafter 소개
About
ToonCrafter란
ToonCrafter는 연구진이 내놓은 2D 애니메이션 도구이지 월 구독형 상용 제품이 아니다. Tencent AI Lab이 홍콩중문대, 홍콩시립대 연구자들과 함께 개발했고, 성과는 SIGGRAPH Asia 2024 저널 트랙(ACM Transactions on Graphics)에 실렸다. 코드와 모델 가중치는 2024년 5월 29일 공개됐으며 누구나 내려받을 수 있다.
겨냥하는 지점은 동화작업, 즉 중간 그림이다. 애니메이터가 핵심 포즈를 그리면 그 사이를 전부 그려야 움직임이 읽힌다. 일반적인 영상 보간 모델은 프레임 사이가 직선으로 흐른다고 가정하는데, 카툰에서는 거의 맞지 않는다. 몸이 늘어나고 찌그러지며 캐릭터가 서로를 가린다. ToonCrafter는 선형 대응을 강요하는 대신 애니메이션 소재에서 움직임을 학습한다. 그래서 AI 중간 프레임이 큰 동작이나 갑작스러운 점프를 따라갈 수 있다.
제약은 기능만큼 중요하다. 한 번 실행에 최대 16프레임, 해상도는 512x320이라 8fps 기준 2초 남짓이다. 전체 체크포인트는 GPU 메모리 약 24GB를 요구하고, 저자들도 모든 컷에서 성공을 보장하지 않는다고 밝힌다. 연필 잡는 시간을 줄이는 도구이지 작화 부서를 대체하는 물건은 아니다.
시작하기
- 저장소를 복제하고 Python 3.8.5 환경을 만든 뒤 의존성을 설치한다.
- ToonCrafter_512 체크포인트를 받아 model.ckpt를 checkpoints/tooncrafter_512_interp_v1/에 넣는다.
- gradio_app.py로 Gradio 화면을 띄우거나, 배치 작업이면 셸 스크립트를 쓴다. ComfyUI와 Colab용 구성도 있다.
- 같은 화면 비율의 첫 프레임과 마지막 프레임을 불러오고 프레임 수와 fps를 정한다. 필요하면 텍스트 지시나 스케치를 더한다.
- 결과 프레임을 확인하고 편집 프로그램에서 이어 붙인다.
제품 정보
ToonCrafter의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 중간 그림을 맡는 2D 애니메이터
- 개인 창작자와 게임 아티스트
- 학생과 AI 연구자
작업
- 같은 캐릭터의 두 포즈 사이를 메우기
- 선화에 색 입히기
- 예산을 쓰기 전 동작 확인
- 프로토타입용 스프라이트 시트 제작
활용 상황
- 클라이언트 제안 전 프리비즈
- ComfyUI 파이프라인에 붙이기
- 수업이나 보고서에서 논문 결과 재현
주요 기능
두 이미지 사이를 잇는 카툰 보간
핵심은 정지 이미지 두 장으로 하는 카툰 보간이다. 시작 프레임과 끝 프레임을 주면 그 사이를 연속 시퀀스로 합성한다. 원본 영상이 필요 없다는 점이 기존 영상만 다듬는 보간 필터와 갈린다. 그래서 마무리 필터가 아니라 2D 애니메이션 생성 도구로 쓰인다.
애니메이션에 맞춘 움직임 사전 확률
토대는 실사 영상으로 학습한 이미지-투-비디오 확산 모델이고, 이후 애니메이션 소재로 보정한다. 이 보정이 원래 모델의 안정적인 움직임을 지키면서 손그림의 물리로 기울인다. 실제로 과장된 포즈와 빠른 궤적이 범용 보간보다 잘 버틴다.
이중 참조 3D 디코더
두 번째 디코더가 입력 두 장에서 세부를 끌어와 생성 프레임에 주입한다. 압축된 잠재 공간에서 가장 먼저 뭉개지는 것이 가는 선과 평면 채색이다. 이 경로가 윤곽이 흐물해지는 것을 막는다. 얼굴과 작은 소품이 눈에 띄게 덜 흔들린다.
스케치 가이드
스케치 인코더를 쓰면 원하는 움직임을 직접 그려서 모델이 따라오게 할 수 있다. 프레임 단위로 동작하므로 몇 프레임만 표시할지, 전부 표시할지 컷이 요구하는 통제량에 따라 고르면 된다. 찍어 맞추는 작업을 연출로 바꾸는 기능이며, 스튜디오가 로컬 설치를 감수하는 이유이기도 하다.
선화 채색
보간을 넘어 스케치와 색 참조를 짝지으면 선화 채색도 처리한다. 단순히 영역을 채우는 대신 팔레트와 음영 스타일을 그림에 옮긴다. 정식 채색 전에 컬러 스크립트를 시험할 때 유용하다.
로컬 실행과 노드 연동
모든 것이 내 컴퓨터에서 돌아간다. 빠른 테스트용 Gradio 앱, 배치용 커맨드라인, ComfyUI 래퍼, Windows와 Colab용 커뮤니티 빌드가 있다. 커뮤니티가 가지치기한 fp16 체크포인트를 쓰면 메모리가 약 12GB로 줄어 소비자용 그래픽카드 한 장으로 감당된다.
장단점
장점
- 가중치와 코드가 무료이고 계정, 크레딧, 렌더당 과금이 없다.
- 일반 영상 보간이 실패하는 과장 동작, 가림, 큰 회전을 처리한다.
- 스케치 가이드로 캐릭터가 어디로 움직일지 프레임 단위로 지정할 수 있다.
- GPU 한 장으로 돌고, 커뮤니티 fp16 버전은 요구 사항을 약 12GB까지 낮춘다.
- ComfyUI에 들어가 업스케일러와 다른 AI 노드 옆에 함께 놓을 수 있다.
단점
- 한 번에 16프레임, 512x320이 상한이라 긴 컷은 여러 번 나눠 돌린 뒤 이어 붙여야 한다.
- 공식 빌드는 VRAM 약 24GB를 요구하고, A100에서 50스텝 기준 한 클립에 24초쯤 걸린다.
- 공식 API도 호스팅 서비스도 없다. 같은 이름으로 돈을 받는 사이트는 저자와 무관하며 저장소도 이를 경고한다.
- 두 입력의 그림체와 구도가 맞아야 품질이 나온다. 어긋나면 이목구비가 흘러가고 전환이 무작위처럼 보인다.
자주 묻는 질문
카툰 키 원화 두 장 사이의 프레임을 만든다. 업계에서 중간 그림이라 부르는 작업이다. 선화 채색과 짧은 모션 테스트에도 쓸 수 있다. 결과물은 짧은 클립이고 장면 전체는 아니다.
관련 콘텐츠
ToonCrafter와 관련된 도구, 스킬, 아티클을 살펴보세요.
ToonCrafter 대안
ngram 2.0
ngram · 동영상 · 마케팅ngram 2.0은 팀을 위한 AI 동영상 생성기다. 프롬프트, 화면 녹화, 제품 URL 가운데 하나만 있으면 내레이션이 붙은 AI 설명 영상이나 제품 데모, AI 아바타 영상이 나온다. 생성 뒤에도 모든 장면을 고칠 수 있다.
OpenScreen 2
OpenScreen (open-source project) · 동영상 · 생산성OpenScreen 2는 Windows, macOS, Linux에서 돌아가는 무료 오픈소스 화면 녹화 프로그램 겸 데모 영상 편집 도구다. 클릭에 맞춘 자동 줌, 프레임, 로컬 자막, 에이전트 편집을 갖췄다.
Skreno
Skreno · 동영상 · 생산성Skreno는 브라우저 화면 녹화 도구다. 탭, 창, 전체 화면을 그대로 담고 AI 스크립트와 요약, 콘솔 로그를 하나의 공유 링크에 붙인다.