一份新的基準測試顯示，長文件裡「誰手上拿著刀」這種狀態追蹤，會讓前沿模型的分數掉到一成多。AI2 認為問題出在架構，不只是規模。
StateBench 測的是狀態，不是檢索
AI2 在 2026 年 11 月 3 日發布 StateBench，附上技術報告、資料與程式碼。它不看模型能不能從長文件裡撈出某一句話，看的是文件裡的實體狀態改變之後，模型有沒有跟著更新。貼文的例子很日常：推理小說寫「John 把刀交給 Mary」，讀者得記住刀換手了。更難的版本是 John 轉交的是背包裡的東西，而刀是 Edward 更早放進去的。
AI2 benchmark 的四個難度等級
四個等級用賦值方式區分。r-trivial 是不可變的賦值，像 let x = 4，或一個人的生日。aperiodic 是按值重新賦值，x 先是 4，後來變 2，就像恆溫器的設定。soluble 是自我參照的更新，x = x + 5，像遊戲進行中的分數。general finite 是按參考賦值，x = y，把兩個變數對調，或把球在五個杯子之間移動。
四個等級的變數數量、數值與更新位置都一樣，只有賦值的種類不同，分數因此可以直接比較。
long context benchmark 上的開源模型表現
AI2 先測自家的預訓練模型。Olmo 3 是 Transformer，Olmo Hybrid 加了 Gated DeltaNet 層，另外還有 275M 與 2.7B 的小模型。它們用同一批資料預訓練，訓練時都沒超過 64,000 個詞元，測試卻一路拉到更長的輸入。結果幾乎都能處理 r-trivial，aperiodic 的準確率隨輸入變長而下掉，general finite 則停在同一水準，等於只能亂猜。
格式會改變答案：StateBench 為什麼換寫法
同一個問題換個包裝，成績就變了。275M 的混合模型與 Gated DeltaNet，在 RULER 風格的 r-trivial 題目上接近滿分；題目改寫成試算表編輯的樣子，成績掉到跟亂猜差不多。這也是 StateBench 堅持用好幾種格式出題的原因。只測一種寫法，會把格式適應力誤認成推理能力。
前沿模型在 state tracking 上的成績
Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 與 GPT-6 Luna 都測了。四款在 r-trivial 與 aperiodic 上都拿到不錯的成績，到了 soluble 與 general finite，輸入一長，準確率就快速下滑。最長的 general finite 題目，分數掉到 13% 以下。AI2 的解釋是敏感度：這兩個等級裡，多幾步更新就可能改變正確答案。
StateBench 從零訓練的實驗：架構比規模更關鍵
AI2 另外從零練了六個 275M 模型，兩個 Transformer、兩個混合架構、兩個 Gated DeltaNet 變體。訓練序列最多 256 次賦值，測試拉到 64,000 次。這組實驗想回答的問題很直接：如果只給模型有限長度的訓練序列，它在更長的文件上還能不能維持同一套狀態追蹤規則，還是只是把看過的長度背下來。
結果分得很開。Gated DeltaNet 與混合架構在三個較簡單的等級上幾乎完美泛化，Transformer 在長序列上明顯退化，general finite 始終沒學會。最靈活的 Gated DeltaNet，在約 10 倍訓練長度內還能維持接近滿分。
StateBench 的理論進展與限制
論文裡有一個新證明：記憶更新使用非負特徵值的 Gated DeltaNet，在固定精度算術下能解所有 aperiodic 任務與部分週期性任務。它在階層裡的確切位置、能不能解掉所有 soluble 任務，還是開放問題。基準本身也有一個前提，變數數量固定。真實對話會不斷冒出新的實體，目前的框架沒有涵蓋這一塊。
這份 AI2 benchmark 對使用者的意義
如果你用長文件做問答、合約比對或程式碼審查，這份測試提醒的是一件事：模型抓得到那一句話，不代表它跟得上那句話之後的變化，尤其是同一份文件裡同一個角色被改過好幾次、每次改動又牽涉到別的角色的時候。選工具時可以問，文件裡的角色或數值改過幾次之後，答案還準不準？先回答這一句，再去看排行榜。StateBench 的資料與程式碼都公開了，自己跑一遍，比看分數可靠。
