Kolors

O Kolors usa um modelo de linguagem como codificador de texto, e não um só para inglês, então trata prompts em chinês e em inglês em pé de igualdade. A janela de 256 tokens é quase o triplo do que os codificadores antigos permitem, e isso pesa quando um prompt cita vários sujeitos, cores e posições. Na prática, uma descrição chinesa longa e específica chega muito mais perto do que você imaginou. A própria equipe aponta esse codificador como o ponto em que o modelo se destaca nos prompts complexos.

Desenhar caracteres corretos é difícil para qualquer modelo de imagem, e o chinês é ainda mais difícil pelo tamanho do conjunto e pelo detalhe dos traços. O Kolors foi feito para dar conta disso, e renderiza palavras chinesas e até caligrafia dentro da cena. Letras em inglês também funcionam, então o trabalho de cartaz e capa fica ao seu alcance sem colar o texto depois. Caracteres complexos ainda podem sair errados numa rodada, então trate frases de vários caracteres como algo para repetir, e não como garantia.

O app web traz estilos prontos como Pixar, cartoon blind-box, anime e realismo em alta definição, então você chega a um visual sem montar um prompt. A Personalização de estilo vai além: você envia uma foto, escolhe um tema como argila, aquarela ou retrato de infância, e ele troca o estilo sem prompt nenhum. Esse caminho serve a quem quer um resultado, e não um fluxo de trabalho.

Os pesos do modelo são abertos, então você pode baixá-los e rodar tudo offline. O modelo base é relativamente pequeno, mas o codificador de texto pesa de verdade, então conte com mais disco do que numa instalação básica de Stable Diffusion. No ComfyUI, 8 GB de VRAM é um piso viável e 12 GB ou mais roda confortável, com codificadores quantizados para placas menores. Rodar local significa que não há custo por imagem e nada sai do seu computador.

A equipe lançou as peças que tornam um modelo de difusão controlável: ControlNet para canny, profundidade e pose, um modelo de inpainting, IP-Adapter para prompts com imagem, IP-Adapter-FaceID para identidade e o código de treino Dreambooth-LoRA. Juntas, elas transformam o Kolors de uma caixa de texto numa ferramenta que você dirige. Se você já usou esses complementos no Stable Diffusion, o fluxo vai parecer familiar.

O Kolors se integra ao ComfyUI, ao Gradio e à biblioteca diffusers, então entra em montagens que você já usa em vez de pedir uma nova. Ele está no Hugging Face e no ModelScope, o que ajuda se a sua rede vai melhor com um do que com o outro. Para equipes que lançam um produto, a API do Kling expõe o Kolors 2.1 como uma chamada hospedada, que troca a instalação local por um preço por geração.