ToonCrafter

A função central é a interpolação de animação cartoon a partir de duas imagens paradas. Você entrega um quadro inicial e um final, e o modelo sintetiza os do meio como sequência contínua. Não precisa de vídeo de origem, e isso o separa dos filtros que só retocam metragem já gravada. Por isso ele é usado como gerador de animação 2D, não como filtro de limpeza.

A base é um modelo de difusão imagem para vídeo treinado com filmagem real, corrigido depois com material de animação. Essa correção mantém a estabilidade de movimento que o modelo original já tinha e a inclina para a física do desenho. Na prática, poses exageradas e arcos rápidos aguentam melhor do que com um interpolador genérico.

Um segundo decodificador puxa detalhe das duas imagens de entrada e injeta nos quadros gerados. Traços finos e áreas de cor chapada são a primeira coisa a borrar num espaço latente comprimido, e esse caminho evita que o contorno vire mancha. Rostos e objetos pequenos se seguram bem melhor por causa dele.

Um codificador de esboço deixa você desenhar o movimento desejado e o modelo segue. Como ele trabalha quadro a quadro, dá para marcar a guia em poucos quadros ou em muitos, conforme o controle que a cena pede. É esse recurso que troca o chute por direção, e o motivo principal pelo qual um estúdio se dá ao trabalho de instalar localmente.

Além da interpolação, o ToonCrafter faz colorização de line art quando você combina um esboço com uma referência de cor. O modelo transfere paleta e estilo de sombreamento para o desenho em vez de apenas preencher regiões chapadas. Ajuda a testar scripts de cor antes do trabalho de pintura definitivo.

Tudo roda na sua máquina. Há um app Gradio para testes rápidos, um caminho de linha de comando para lotes, um wrapper de ComfyUI e versões da comunidade para Windows e Colab. Um checkpoint fp16 podado derruba a memória para cerca de 12 GB, o que coloca a ferramenta ao alcance de uma placa de consumidor.