Kolosal AI

Kolosal AIは大規模言語モデルを自分の端末上で動かし、クラウドを経由しない。重みを一度ダウンロードすれば、対話、要約、質疑はネット接続なしで機能する。端末上の推論で完結させたい人にとって、このオフライン設計がホスト型チャットより選ばれる最大の理由だ。

Kolosal AIは、小さく収まるものを求める人に支持されるLM Studioの代替だ。コンパイル後のアプリは約20MBで、ほとんどのローカルモデルランナーよりはるかに小さい。この小ささがあるからこそ、Raspberry PiやファンレスのミニPCのような低消費電力のハードウェアでも動く。重いデスクトップクライアントなら詰まるところだ。エッジAI導入という観点では、この点が実用性を保つ。

AVX2命令を持つCPUなら動き、AMDとNVIDIAのGPUでも動作する。ノートPC、デスクトップ、エッジのボードにまたがり、1社に縛られない。手元のハードウェアを検出して使うため、最上位のGPUがなくても始められる。

Kolosal AIはオープンソースLLMツールで、llama.cppの上に組んだ自社の推論エンジンでMistral、LLaMA、Qwenといった人気のオープンモデルを動かす。LLMをオフラインで実行したい人なら、多くの人がすでに知ってダウンロードしているモデルがここで動く。目当てのモデルがあれば、余計な設定なしで動く可能性が高い。

Kolosal AIは推論で止まらない。ほとんど手間をかけずにデータセットを組み、Unslothなどのフレームワークで言語モデルをローカルで学習させ、その結果を自分のマシンか小さなサーバーとして配備できる。他人の重みを動かすだけでなく、自分のデータに合わせてモデルを寄せられる。

重みから使えるアシスタントまでの道のりは数ステップで、サーバー構築は要らない。モデルを読み込み、ローカルで動かし、共有したいときは自分のマシンかネットワークで公開する。プライベートなエンドポイントを欲しがるがDevOpsの案件は起こしたくない小規模チームには、この低い障壁が効く。

プロジェクトはApache 2.0ライセンスで、コードを読み、改変し、自分の成果物に組み込んでもライセンス料はかからない。自分のマシンで何が動いているかを監査したいチームには、この開放性が魅力だ。プロジェクトが単一ベンダーのロードマップではなく、コミュニティとともに進むことも意味する。