Grok 2.5 (OSS Ver.)

今回の公開の狙いはアクセスにある。xAIは学習済みのGrok 2チェックポイントをダウンロード可能なウェイトとして出した。だからホスト型エンドポイントを呼ぶのではなく、自分のマシンで動かせる。リポジトリは42ファイル、約500GBで、推論エンジンを使ってローカルに読み込む。ウェブページ経由ではない。モデルを社内に置きたいチームにとって、ここが価値のすべてだ。

Grok 2.5は専門家混合の設計を採用する。各層が複数の専門家ネットワークを抱え、トークンごとにそのうち数個だけが働く。同じ総規模の密なモデルより、リクエストあたりの計算量を抑えられる。GPUを時間単位で払う身には効く話だ。これはxAIがGrok系全体で使ってきたのと同じ大きな方針で、チェックポイントが大きくても使い物にならなくならない理由でもある。

このモデルは128Kトークンのコンテキストを受け付ける。1回の会話に長い文書を丸ごと収められる長さだ。長めの報告書、コードファイル、文字起こしを放り込み、前もって分割せずに全体について質問できる。文書のレビューや長文の執筆といった作業では、このウィンドウが、小さなモデルの周りに組むはずだった配線をかなり省いてくれる。

xAIはモデルを提供する手段としてSGLangを勧めており、リポジトリの手順は具体的だ。テンソル並列を8基のGPUに分散し、それぞれ40GB超のメモリを載せ、FP8量子化でウェイトを収める。手順はそのハードウェアを積んだLinuxサーバーを前提にしている。つまりこのモデルは、推論基盤をすでに運用している人向けで、初心者向けではない。

ウェイトが公開されているので、モデルを評価し、専門家がどう振り分けられるかを調べ、自前のデータで微調整できる。入力と出力のテキストしか受け取れないホスト型チャットボットとは、ここが違う。公開されたベンチマークの数値が他の手段では再現しづらいとき、名の通った研究室のチェックポイントが比較対象として手に入るのは大きい。

Grok 2.5を自分で動かせば、プロンプトと出力がネットワークの外に出ることはない。外部API呼び出しもなければ、あなたの通信を見るベンダーもいない。機密資料、規制対象のデータ、社内コードを扱うチームにとって、この統制はホスト型モデルとオープンモデルを分ける決め手になりやすい。ホスト型サービスのほうが安く済む場合でも、そうだ。