Kolors

Kolors는 영어 전용이 아닌 언어 모델을 텍스트 인코더로 쓰기 때문에 중국어와 영어 프롬프트를 똑같이 다룬다. 256토큰 창은 옛 인코더의 약 세 배이고, 프롬프트가 여러 주제와 색, 위치를 나열할 때 차이가 난다. 실제로 길고 구체적인 중국어 설명일수록 머릿속 그림에 가까워진다. 팀 스스로 복잡한 프롬프트에서 앞서는 지점으로 이 인코더를 꼽는다.

정확한 글자를 그리는 건 어느 이미지 모델에나 어렵고, 글자 집합이 크고 획이 복잡한 중국어라면 더 어렵다. Kolors는 이를 위해 만들어져 문장 속에 중국어 단어는 물론 서예까지 그려 낸다. 영문도 되기 때문에 포스터와 표지 작업에서 글자를 나중에 붙이지 않아도 된다. 복잡한 글자는 한 번에 실패할 수 있으니, 여러 글자 문구는 다시 뽑을 대상으로 보고 보장으로 여기지 않는다.

웹 버전에는 픽사, 블라인드박스 카툰, 애니메, 고화질 리얼리즘 같은 완성된 스타일이 들어 있어 프롬프트를 짜지 않고도 분위기에 도달한다. 스타일 커스터마이즈는 더 나아가, 사진을 올리고 점토나 수채화, 어린 시절 인물 사진 같은 테마를 고르면 프롬프트 없이 분위기가 바뀐다. 결과물만 원하고 워크플로까지는 필요 없는 사람에게 맞는 길이다.

모델 가중치는 공개돼 있어 내려받아 오프라인으로 돌릴 수 있다. 기본 모델은 비교적 작지만 텍스트 인코더가 상당한 용량을 차지하니, 순수 Stable Diffusion 구성보다 디스크를 넉넉히 잡는다. ComfyUI에서는 8GB VRAM이 실용 하한이고 12GB 이상이 넉넉하며, 카드가 작으면 양자화 인코더를 쓴다. 로컬로 돌리면 장당 비용이 없고 데이터도 서버로 나가지 않는다.

팀은 확산 모델을 제어 가능하게 만드는 부품을 공개했다. 선화와 깊이, 포즈를 위한 ControlNet, 인페인팅 모델, 이미지를 프롬프트로 쓰는 IP-Adapter, 동일성을 지키는 IP-Adapter-FaceID, 그리고 Dreambooth-LoRA 학습 코드다. 다 모이면 Kolors는 입력 칸이 아니라 다룰 수 있는 도구가 된다. Stable Diffusion에서 이런 확장을 써 봤다면 흐름이 익숙할 것이다.

Kolors는 ComfyUI와 Gradio, diffusers 라이브러리에 붙기 때문에 새 구성을 요구하지 않고 이미 쓰는 환경에 더해진다. Hugging Face와 ModelScope 양쪽에 있어, 회선이 한쪽에 유리할 때 도움이 된다. 제품을 내는 팀에게는 Kling API가 Kolors 2.1을 호스팅 호출로 제공해, 로컬 구성을 생성당 과금과 맞바꾼다.