Kolors

Kolors は英語専用ではない言語モデルをテキストエンコーダに使うので、中国語と英語のプロンプトを同等に扱う。256トークンの窓は旧来のエンコーダのおよそ3倍で、プロンプトが複数の主題、色、位置を挙げるときに効いてくる。実際、長く具体的な中国語の説明ほど、思い描いた画面に近づく。チーム自身も、複雑なプロンプトで抜け出せるのはこのエンコーダのおかげだと説明している。

正しい文字を描くのはどの画像モデルにも難しく、字種が多く画数も細かい中国語ならなおさらだ。Kolors はそのために作られ、中国語の単語果ては書道まで画面の中に描き出す。英字も扱えるので、ポスターやカバーの仕事も文字を後から貼らずに済む。複雑な文字は1回で失敗することもあるので、複数文字のフレーズは引き直す前提で考えるといい。

ウェブ版にはピクサー風、ブラインドボックスのカートゥーン、アニメ、高精細リアルといった既製スタイルが入っており、プロンプトを組み立てずに雰囲気へたどり着ける。スタイルのカスタマイズはさらに進んで、写真を上げて粘土、水彩、子ども時代のポートレートなどのテーマを選べば、プロンプトなしで様子が変わる。出来上がりが欲しい人、ワークフローまでは要らない人に向く道だ。

重みは公開されているので、ダウンロードしてオフラインで動かせる。ベースモデルは比較的小さいが、テキストエンコーダがかなりの容量を占めるので、素の Stable Diffusion 構成よりディスクを多めに用意したい。ComfyUI なら8GBのVRAMが実用の下限、12GB以上が快適で、カードが小さければ量子化エンコーダを使う。ローカルで回せば1枚ごとの費用はなく、データもサーバーに送られない。

チームは拡散モデルを制御可能にする部品を公開してきた。線画、奥行き、姿勢向けの ControlNet、インペイントモデル、画像をプロンプトにする IP-Adapter、同一性を保つ IP-Adapter-FaceID、そして Dreambooth-LoRA の訓練コードだ。そろえば Kolors は入力欄ではなく、操れる道具になる。Stable Diffusion でこれらを使ったことがあれば、流れはすぐ飲み込める。

Kolors は ComfyUI、Gradio、diffusers ライブラリに組み込めるので、新しい構成を求めるのではなく、すでに使っている環境に加わる。Hugging Face と ModelScope の両方にあるため、回線がどちらかに有利なときにも助かる。製品を出すチームには、Kling API が Kolors 2.1 をホスト型の呼び出しとして提供し、ローカル構築を1回ごとの課金と引き換えにする。