AI2が長文の状態追跡を測るベンチマークを公開した。事実が書き換わるたびに追従できるかを見る。最難関では最先端モデルでも13%以下まで落ちる。
StateBenchとは何を測るのか
AI2は2026年11月3日、StateBenchを公開した。技術レポートとデータ、コードも付く。測るのは長い文書の中での状態追跡だ。
ミステリー小説で「ジョンがメアリーにナイフを渡した」と書かれれば、読者は誰が何を持っているかを更新する。もっと難しい版もある。ジョンがリュックごと渡し、ナイフは以前にエドワードが入れていた場合だ。1つの事実を探すだけでは足りない。変化の連鎖を追う必要がある。
StateBenchの4段階と難易度
課題は4段階だ。r-trivialは不変の割り当てで、x = 4や生年月日が例だ。aperiodicは値の再代入で、x = 4の後にx = 2へ変わるサーモスタットが該当する。solubleは自己参照の更新で、x = x + 5のようなゲームのスコア。general finiteは参照による代入で、x = y、5つのカップの間で動くボールが典型例になる。
4段階は変数の数、値、更新の位置をそろえてある。割り当ての種類だけを変えて、精度がどう落ちるかを見る設計だ。
AI2 benchmarkの結果：前半は通過、後半で崩れる
事前学習済みのオープンモデルでは、Olmo 3（Transformer）とOlmo Hybrid（Gated DeltaNet層を追加）を試した。275Mと2.7Bのモデルも含む。同じ学習データで、コンテキストは64,000トークンまでしか学習していない。テストはその先まで及ぶ。
ほぼ全てがr-trivialを処理した。入力が長くなるとaperiodicで精度が落ち、general finiteでは偶然の水準に留まる。
Long context benchmarkで形式が結果を変える
見せ方が違うと点数も変わる。275MのハイブリッドモデルとGated DeltaNetは、RULER形式のr-trivialでほぼ満点を取った。同じ問題を表計算の編集として出すと、偶然と同じ水準まで落ちる。
複数の形式を試す理由がここにある。長い文脈を扱えるという主張は、形式を固定した測定では確かめられない。
StateBenchで最先端モデルは13%以下
フロンティアモデルはGemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Luna。r-trivialとaperiodicでは4つとも良い成績だった。solubleとgeneral finiteでは、入力が長くなるほど精度が急に下がる。最長のgeneral finite問題では13%以下だった。
AI2は感度も指摘する。難しい段階では手順が1つ増えるだけで答えが変わり、長文ではそれを見落とす確率が上がる。
State trackingは学習で身につくのか
ゼロから学習した実験もある。275Mのモデルを6つ用意した。Transformerが2つ、ハイブリッドが2つ、Gated DeltaNetが2つだ。学習時の系列は最大256個の割り当てで、テストは64,000まで。学習長の250倍にあたる。
では、この能力は学習で身につくのか？Gated DeltaNetとハイブリッドは、易しい3段階でほぼ完全に一般化した。Transformerは長い系列で劣化し、general finiteを学習できなかった。最も柔軟なGated DeltaNetは、学習した最長系列の約10倍まで高い精度を保つという結果を残した。
Gated DeltaNetの証明と残った問い
論文には新しい証明がある。非負の固有値を使う記憶更新を持つGated DeltaNetは、固定精度の計算の下で、すべてのaperiodic課題と一部のperiodic課題を解ける。階層内の正確な位置や、すべてのsoluble課題を解けるかは未解決だ。
パラメータを増やすだけでは届かない領域がある。そう読める結果だ。
StateBenchの限界
前提として変数の数は固定だ。実際の会話では新しい登場人物や道具が途中で増えるが、今の枠組みは扱わない。
研究チームの設計で、査読はない。それでも、長い文書で何が壊れるかを段階ごとに切り分けた点に価値がある。次に問われるのは、変数が増え続ける場面で同じ精度を保てるかだ。
