Kolors

Kolors utilise un modèle de langage comme encodeur de texte, et pas un encodeur réservé à l'anglais, donc il traite les prompts chinois et anglais à égalité. La fenêtre de 256 tokens fait près du triple de ce que permettent les encodeurs plus anciens, ce qui compte quand un prompt nomme plusieurs sujets, couleurs et positions. En pratique, une description chinoise longue et précise colle bien plus à ce que vous imaginiez. L'équipe elle-même situe cet encodeur à l'endroit où le modèle prend l'avantage sur les prompts complexes.

Dessiner des caractères corrects est difficile pour n'importe quel modèle d'image, et le chinois l'est encore plus vu la taille du répertoire et le détail des traits. Kolors a été conçu pour cela, et il rend des mots chinois, voire de la calligraphie, dans la scène. Les lettres anglaises passent aussi, donc le travail d'affiche et de couverture est à portée sans coller le texte après coup. Les caractères complexes peuvent encore échouer sur un tirage, alors considérez les phrases de plusieurs caractères comme à relancer, pas comme garanties.

L'application web propose des styles prêts comme Pixar, cartoon blind-box, anime et réalisme haute définition, pour arriver à un rendu sans construire un prompt. La Personnalisation de style va plus loin : vous envoyez une photo, choisissez un thème comme argile, aquarelle ou portrait d'enfance, et le style change sans aucun prompt. Ce chemin convient à qui veut un résultat, pas un flux de travail.

Les poids du modèle sont ouverts, donc vous pouvez les télécharger et tout exécuter hors ligne. Le modèle de base est relativement petit, mais l'encodeur de texte pèse vraiment, alors prévoyez plus de disque qu'une installation Stable Diffusion simple. Sur ComfyUI, 8 Go de VRAM est un minimum viable et 12 Go ou plus est confortable, avec des encodeurs quantifiés pour les cartes modestes. Tourner en local, c'est aucun coût par image et aucune donnée qui quitte votre machine.

L'équipe a publié les briques qui rendent un modèle de diffusion contrôlable : ControlNet pour canny, profondeur et pose, un modèle d'inpainting, IP-Adapter pour les prompts par image, IP-Adapter-FaceID pour l'identité et le code d'entraînement Dreambooth-LoRA. Ensemble, ils transforment Kolors d'une zone de texte en un outil que vous pilotez. Si vous avez déjà utilisé ces modules sur Stable Diffusion, le flux vous sera familier.

Kolors s'intègre à ComfyUI, Gradio et la bibliothèque diffusers, donc il rejoint des montages que vous utilisez déjà au lieu d'en réclamer un nouveau. Il est présent sur Hugging Face comme sur ModelScope, ce qui aide si votre réseau préfère l'un à l'autre. Pour les équipes qui lancent un produit, l'API Kling expose Kolors 2.1 comme un appel hébergé, ce qui échange l'installation locale contre un prix par génération.