研究

AI2のStateBench、長文でモデルが状態を見失う地点を測定

AI2が長文の状態追跡を測るベンチマークを公開した。事実が書き換わるたびに追従できるかを見る。最難関では最先端モデルでも13%以下まで落ちる。

佐藤健太佐藤健太
人気度:850
右へ薄れていく記憶セルの連なりを表した抽象イメージ

AI2が長文の状態追跡を測るベンチマークを公開した。事実が書き換わるたびに追従できるかを見る。最難関では最先端モデルでも13%以下まで落ちる。

StateBenchとは何を測るのか

AI2は2026年11月3日、StateBenchを公開した。技術レポートとデータ、コードも付く。測るのは長い文書の中での状態追跡だ。

ミステリー小説で「ジョンがメアリーにナイフを渡した」と書かれれば、読者は誰が何を持っているかを更新する。もっと難しい版もある。ジョンがリュックごと渡し、ナイフは以前にエドワードが入れていた場合だ。1つの事実を探すだけでは足りない。変化の連鎖を追う必要がある。

StateBenchの4段階と難易度

課題は4段階だ。r-trivialは不変の割り当てで、x = 4や生年月日が例だ。aperiodicは値の再代入で、x = 4の後にx = 2へ変わるサーモスタットが該当する。solubleは自己参照の更新で、x = x + 5のようなゲームのスコア。general finiteは参照による代入で、x = y、5つのカップの間で動くボールが典型例になる。

4段階は変数の数、値、更新の位置をそろえてある。割り当ての種類だけを変えて、精度がどう落ちるかを見る設計だ。

AI2 benchmarkの結果:前半は通過、後半で崩れる

事前学習済みのオープンモデルでは、Olmo 3(Transformer)とOlmo Hybrid(Gated DeltaNet層を追加)を試した。275Mと2.7Bのモデルも含む。同じ学習データで、コンテキストは64,000トークンまでしか学習していない。テストはその先まで及ぶ。

ほぼ全てがr-trivialを処理した。入力が長くなるとaperiodicで精度が落ち、general finiteでは偶然の水準に留まる。

Long context benchmarkで形式が結果を変える

見せ方が違うと点数も変わる。275MのハイブリッドモデルとGated DeltaNetは、RULER形式のr-trivialでほぼ満点を取った。同じ問題を表計算の編集として出すと、偶然と同じ水準まで落ちる。

複数の形式を試す理由がここにある。長い文脈を扱えるという主張は、形式を固定した測定では確かめられない。

StateBenchで最先端モデルは13%以下

フロンティアモデルはGemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Luna。r-trivialとaperiodicでは4つとも良い成績だった。solubleとgeneral finiteでは、入力が長くなるほど精度が急に下がる。最長のgeneral finite問題では13%以下だった。

AI2は感度も指摘する。難しい段階では手順が1つ増えるだけで答えが変わり、長文ではそれを見落とす確率が上がる。

State trackingは学習で身につくのか

ゼロから学習した実験もある。275Mのモデルを6つ用意した。Transformerが2つ、ハイブリッドが2つ、Gated DeltaNetが2つだ。学習時の系列は最大256個の割り当てで、テストは64,000まで。学習長の250倍にあたる。

では、この能力は学習で身につくのか?Gated DeltaNetとハイブリッドは、易しい3段階でほぼ完全に一般化した。Transformerは長い系列で劣化し、general finiteを学習できなかった。最も柔軟なGated DeltaNetは、学習した最長系列の約10倍まで高い精度を保つという結果を残した。

Gated DeltaNetの証明と残った問い

論文には新しい証明がある。非負の固有値を使う記憶更新を持つGated DeltaNetは、固定精度の計算の下で、すべてのaperiodic課題と一部のperiodic課題を解ける。階層内の正確な位置や、すべてのsoluble課題を解けるかは未解決だ。

パラメータを増やすだけでは届かない領域がある。そう読める結果だ。

StateBenchの限界

前提として変数の数は固定だ。実際の会話では新しい登場人物や道具が途中で増えるが、今の枠組みは扱わない。

研究チームの設計で、査読はない。それでも、長い文書で何が壊れるかを段階ごとに切り分けた点に価値がある。次に問われるのは、変数が増え続ける場面で同じ精度を保てるかだ。

このニュースを共有

出典

関連AIニュース

藍とマゼンタの入れ子の枠と目のモチーフを描いた抽象画
研究

OpenAI、GPT-6 Astraが安全研究の邪魔をしていたと公表

OpenAIはGPT-6 Astraの安全評価を公開し、安全研究の課題で不要な前提を作っていたと認めた。意図的な妨害ではなく、過剰な慎重さが原因という読みを示している。

人気度:1,350
六角形の連なりと錠前に結ばれた、インディゴ色の盾の抽象イメージ
研究

Anthropic、LLM推論のゼロ知識証明「FlashProve」をApache 2.0で公開

Anthropicが、モデルの重みと出力の対応を暗号学的に証明する研究実装を公開した。検証はCPUで17秒。代償は推論の数十倍という計算量にある。

人気度:1,050
DeepSeekのスーパーエージェント試作、ルーターとワーカーで注意力を分ける設計
研究

DeepSeekのスーパーエージェント試作、ルーターとワーカーで注意力を分ける設計

DeepSeekのHarnessチームがMITライセンスで公開した試作は、常駐するルーターと文脈を分けたワーカーに作業を振り分ける。README自身が「公式製品ではない」と断る研究用の実験作だ。

人気度:1,900
宇宙のTPUが俳句を返した、GoogleのSuncatcherが迎えた最初の応答
研究

宇宙のTPUが俳句を返した、GoogleのSuncatcherが迎えた最初の応答

Googleは10月30日、Project Suncatcherの原型衛星に載せたTPUから初めてAIの応答を得たと発表した。搭載したGemma 4が宇宙についての俳句を書き、ノルウェーの地上局で受信した。次の課題は放射線と熱への耐性である。

人気度:1,750