Guide Labs: Interpretable foundation models

Guide Labs とは

Guide Labs はサンフランシスコのスタートアップで、思考の道筋が見える言語モデルを作っている。2024 年に Julius Adebayo、Aya Abdelsalam Ismail と、MIT、メリーランド大学、Mila 出身の博士たちが立ち上げた。最初の公開モデル Steerling-8B は 2026 年 2 月に出て、Clarity のワークスペースは同年 6 月に招待制で研究者向けに開いた。

多くの LLM は、説明を後から付ける。別のツールが完成した回答を見て、どの語が効いたかを推測する仕組みだ。その推測は検証しにくい。Adebayo 自身の 2018 年の研究は、有名な説明手法のいくつかがモデルの重みをランダムにしても結果が大きく変わることを示した。つまりノイズを測っていたわけである。Guide Labs は順番を逆にする。解釈可能性を学習時の制約にしてしまえば、各予測は最初から名前付き概念への寄与に分解される。

その代償は規模である。Steerling-8B は 80 億パラメータで、1.35 兆トークンを使って学習した。標準ベンチマークの平均スコアは、2 倍から 7 倍のデータで学習したオープンモデルと同程度の範囲に入ると同社は報告する。監査できる制御された生成の土台としては使えるが、難しい推論で最先端モデルに代わるものではない。最高の回答品質が要るなら、より大きなシステムを選ぶことになる。

導入の流れ

1. platform.guidelabs.ai で Clarity のアクセスを申請する。待ちたくなければ Hugging Face からオープンウェイトを取得する。
2. pip install steerling でパッケージを入れ、手持ちの GPU にチェックポイントを読み込む。
3. Clarity のチャットかパッケージからプロンプトを送る。テキストはトークン単位ではなくブロック単位で出てくる。
4. ブロックをクリックすると説明パネルが開き、プロンプトのトークン、順位付けされた概念、その断片の背後にある学習データの出所が見える。
5. ステアリングバーに概念を追加し、増幅か抑制を選んで、同じプロンプトをもう一度走らせて見比べる。