ToonCrafter AI
Tencent AI Lab, CUHK, City University of Hong Kong · Vídeo
ToonCrafter AI é um modelo de pesquisa de código aberto que preenche os quadros entre dois desenhos e transforma keyframes em clipes animados curtos na sua própria GPU.
Sobre ToonCrafter AI
About
O que é o ToonCrafter AI
ToonCrafter AI é uma ferramenta de animação com IA construída sobre um modelo generativo de interpolação de desenhos animados. Assinam o projeto pesquisadores da Universidade Chinesa de Hong Kong, da Universidade da Cidade de Hong Kong e do Tencent AI Lab, com apresentação na SIGGRAPH Asia 2024. Você entrega um desenho inicial e outro final, e o sistema prevê os desenhos do meio. A saída é um clipe em 512x320 com até 16 quadros.
A base é um modelo de difusão de imagem para vídeo treinado com filmagem real, depois reajustado para arte 2D de linha limpa e cor chapada. Um segundo decodificador devolve o detalhe fino a cada quadro gerado. Esse trabalho importa porque modelos de vídeo genéricos borram contornos e arrastam a cor em personagens com cel shading, e o resultado não serve para animar de verdade.
Três limites definem o uso. O modelo não entende bem o que cada objeto é, então uma peça rígida pode entortar como tecido. Ele trava quando algo entra ou sai do enquadramento. E para em 16 quadros, ou seja, cerca de dois segundos de movimento, não uma cena fechada. Também não existe aplicativo oficial hospedado. O próprio README avisa, então qualquer site que cobre por acesso ao "ToonCrafter" é terceiro.
Como começar
- Clone o repositório do GitHub, crie um ambiente conda com Python 3.8.5 e instale os pacotes do requirements.txt.
- Baixe o checkpoint no Hugging Face e coloque em checkpoints/tooncrafter_512_interp_v1.
- Escolha dois quadros do mesmo personagem e do mesmo estilo, cortados perto da proporção 512x320, e escreva um prompt curto descrevendo o movimento.
- Rode scripts/run.sh no terminal, ou abra a interface no navegador com python gradio_app.py e envie as imagens por lá.
- Ajuste ddim_steps para ganhar velocidade e frame_stride para definir quanto a ação avança entre quadros. O vídeo sai na pasta results.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de ToonCrafter AI.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Animadores 2D
- Desenvolvedores indie
- Estudantes e grupos de pesquisa
Tarefas
- Interpolação de quadros-chave
- Animação a partir de esboços
- Colorir line art
Cenários
- Apresentar um plano
- Prototipar animação de jogo
- Testar um estilo
Principais recursos
Interpolação de desenhos com dois keyframes
É a função central e onde a interpolação de quadros com IA se mostra: duas imagens entram, uma sequência sai. O modelo resolve oclusões e movimentos amplos e não lineares, justamente onde a mistura de quadros comum quebra. Tudo acontece em uma passada de inferência, sem treino e sem ajuste por plano.
Controle por esboços esparsos
Você pode acrescentar um ou mais esboços em momentos específicos do clipe e o modelo segue esses traços. Isso dá controle quadro a quadro sobre o timing e a direção, não apenas uma dica de texto. Num ciclo de caminhada ou num gesto de mão, dois rabiscos comunicam a intenção melhor do que um parágrafo de prompt.
Colorização de esboços por referência
Se você passar uma imagem de referência colorida junto da animação de linha, a ferramenta aplica aquela paleta aos quadros em movimento. Aceita uma referência ou duas para controlar melhor a sombra. Estúdios usam isso para testar color scripts antes de o colorista encostar no plano.
Base de difusão ajustada para desenho
O modelo de imagem para vídeo original aprendeu movimento com filmagem real. A equipe o adaptou com uma etapa de retificação treinada em centenas de milhares de clipes de animação selecionados, então o prior de movimento combina com personagens desenhados. Depois, um decodificador 3D de dupla referência recupera o detalhe que o espaço latente comprimido joga fora.
Interface local no navegador
O repositório traz um app Gradio. Você envia os dois quadros, escreve um prompt e clica em gerar sem tocar em arquivo de configuração. O caminho por linha de comando expõe os mesmos ajustes e ainda os controles do sampler, então a interface serve para testes rápidos e o script para lotes.
Código e pesos abertos
Tanto o código de inferência quanto o checkpoint são públicos. Dá para ler como o sampler funciona, trocar componentes ou encaixar o modelo numa ferramenta maior. Essa abertura explica por que o projeto se espalhou pelas comunidades de animação e de ComfyUI em poucas semanas.
Prós e contras
Prós
- Sem assinatura e sem sistema de créditos. Com o checkpoint no disco, gerar custa só energia elétrica.
- Lida com oclusão e movimento amplo melhor do que modelos de interpolação genéricos, e a página do projeto compara resultados com AnimeInterp, FILM e SEINE.
- O controle por esboços e a colorização por referência cobrem duas tarefas que ferramentas de vídeo só com prompt não atacam de frente.
- A instalação é pequena para um projeto de difusão: um ambiente Python, um checkpoint e um YAML.
- A saída é repetível o bastante para iterar, porque a seed controla a variação e você pode rodar o plano de novo até o movimento convencer.
Contras
- O teto de 16 quadros em 512x320 dá cerca de dois segundos de movimento em baixa resolução. Aqui você não fecha um plano, só pré-visualiza.
- A implementação de referência pede uns 24 GB de VRAM, e até os forks que cabem em 10 GB exigem uma NVIDIA recente. Num notebook comum só resta alugar GPU na nuvem.
- O modelo não entende os objetos, então partes rígidas ondulam e qualquer coisa que entre ou saia do quadro estraga a tomada. Conte com várias seeds até achar um clipe utilizável.
- A instalação é trabalho de desenvolvedor. Não existe app web oficial, e o README avisa que sites pagos com esse nome não têm ligação com a equipe.
Perguntas frequentes
Ele gera os quadros que faltam entre duas imagens de desenho, então você tem uma animação curta a partir de um par de keyframes. A página do projeto também mostra movimento guiado por esboço e colorização com referência.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a ToonCrafter AI.
Alternativas a ToonCrafter AI
Griffin by Tavus
Tavus · Voz e linguagem · Vídeo · ChatbotGriffin by Tavus é o primeiro modelo de interação humana: um sistema de vídeo para vídeo, full-duplex, que observa, escuta e responde durante uma chamada de vídeo com IA em tempo real.
Syllaby AI Avatar 2.0
Syllaby · Vídeo · MarketingSyllaby AI Avatar 2.0 transforma um roteiro em vídeo com apresentador IA: avatar reutilizável, voz natural, inserts e legendas automáticas no mesmo fluxo.
Vitra.ai
Vitra.ai · Voz e linguagem · Vídeo · MarketingA Vitra.ai é uma plataforma de conteúdo agêntico que cria, traduz, revisa e publica vídeo, imagens, documentos e conteúdo de apps em 120 idiomas a partir de um mesmo briefing.