Ein neuer Benchmark von AI2 prüft, ob Sprachmodelle in langen Dokumenten mitverfolgen, wer was besitzt. Auf der schwersten Stufe fallen die vier getesteten Frontier-Modelle auf 13 Prozent oder weniger.
Was StateBench misst: wer hat das Messer
Der Blogbeitrag von AI2 beginnt mit einem Krimi. In einem Roman gibt John kurz vor dem Mord Mary das Messer. Wer weiterliest, muss den Besitzstand aktualisieren. Schwieriger wird es, wenn John den Rucksack übergibt und das Messer vorher von Edward hineingelegt wurde, denn dann reicht es nicht, den letzten Satz zu lesen.
Genau das prüft StateBench, nur ohne Mord. Geprüft wird nicht, ob ein Modell eine Tatsache irgendwo im Text findet, sondern ob es Änderungen über die ganze Länge mitführt, auch wenn zwischendurch hundert Absätze über etwas anderes stehen. Der Unterschied klingt klein und ist es nicht.
Die vier Stufen im AI2 Benchmark
Die Aufgaben sind nach Art der Zuweisung sortiert. r-trivial bedeutet: Der Wert ändert sich nie, etwa ein Geburtsdatum oder ein einmal vergebener Name. Aperiodisch heißt: Der Wert wird neu gesetzt, wie bei einem Thermostat. Löslich meint eine Aktualisierung, die sich auf den alten Wert bezieht, etwa ein Punktestand, der um fünf steigt.
Die vierte Stufe ist die härteste: Zuweisung per Referenz, bei der zwei Variablen ihren Inhalt tauschen oder eine Kugel zwischen fünf Bechern hin und her wandert. In allen vier Stufen bleibt die Zahl der Variablen, Werte und Änderungspositionen gleich. Nur die Art der Zuweisung unterscheidet sich, deshalb lassen sich die Ergebnisse vergleichen, was bei Benchmarks selten ist.
Long Context Benchmark: das Format entscheidet mit
AI2 hat zuerst offene Modelle getestet, die auf höchstens 64.000 Token trainiert wurden, und sie deutlich darüber laufen lassen. Olmo 3 und Olmo Hybrid, dazu Varianten mit 275 Millionen und 2,7 Milliarden Parametern. Fast alle lösten die triviale Stufe. Bei der aperiodischen fiel die Genauigkeit, sobald die Eingabe wuchs. Bei der härtesten Stufe blieben sie auf Zufallsniveau.
Ein Nebenbefund aus diesem Teil ist für die Praxis wichtiger als das Gesamtergebnis. Die 275-Millionen-Varianten von Hybrid und Gated DeltaNet lagen bei RULER-artigen Aufgaben nahe der Bestmarke, also fast ohne Fehler. Wurden dieselben Aufgaben als Tabellenbearbeitung formuliert, fielen sie auf Zufallsniveau zurück. Das Format allein entscheidet über Erfolg oder Misserfolg, und wer nur eine Darstellung testet, misst vor allem die Darstellung.
State Tracking bei Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol und GPT-6 Luna
Bei den Frontier-Modellen sieht es zweigeteilt aus. Alle vier kamen mit der trivialen und der aperiodischen Stufe gut zurecht. Auf der löslichen und der allgemeinen Stufe brach die Genauigkeit ein, sobald die Eingabe länger wurde, und zwar so deutlich, dass von den guten Werten der kurzen Aufgaben wenig übrig blieb.
Bei den längsten Aufgaben der allgemeinen Stufe fiel die Trefferquote auf 13 Prozent oder weniger. AI2 erklärt das mit Empfindlichkeit: Auf diesem Niveau reicht ein zusätzlicher Schritt, um die Antwort zu kippen. Das heißt nicht, dass diese Modelle mit langen Texten generell nicht umgehen können. Es heißt, dass eine bestimmte Sorte von Änderung sie überfordert, sobald der Text lang genug wird, und dass die Schwäche nicht beim Finden von Fakten liegt, sondern beim Mitführen von Zuständen.
Der StateBench-Versuch mit sechs kleinen Modellen
Für die Architekturfrage hat AI2 sechs Modelle mit 275 Millionen Parametern von Grund auf trainiert: zwei Transformer, zwei Hybridmodelle, zwei Gated-DeltaNet-Varianten. Trainiert wurde mit Sequenzen von bis zu 256 Zuweisungen, getestet bis 64.000, also bis zur 250-fachen Länge.
Gated DeltaNet und die Hybridmodelle verallgemeinerten auf den drei leichteren Stufen fast perfekt. Die Transformer verloren auf langen Sequenzen und lernten die vierte Stufe nie. Die flexibelste Gated-DeltaNet-Variante blieb bis etwa zur zehnfachen Trainingslänge nahezu fehlerfrei, danach nicht mehr.
Kurz: Architektur schlägt Größe.
Gated DeltaNet: der Beweis mit nicht-negativen Eigenwerten
Neu im Paper ist ein formaler Beweis. Eine Gated-DeltaNet-Schicht, deren Speicher-Update nur nicht-negative Eigenwerte nutzt, löst alle aperiodischen Aufgaben und einen Teil der periodischen, und zwar unter fester Rechengenauigkeit.
Offen bleibt, wo genau diese Variante in der Hierarchie steht. Ob sie auch alle löslichen Aufgaben schafft, ist nicht geklärt und bleibt eine offene Frage im Paper. Der Beweis grenzt das Feld ein, er schließt es nicht.
Wo StateBench an Grenzen stößt
StateBench geht von einer festen Zahl von Variablen aus. Echte Gespräche bringen laufend neue Entitäten ins Spiel, und dafür hat das Framework noch keine Aufgabe. Auch die Auswahl der vier Frontier-Modelle ist eine Momentaufnahme vom 3. November 2026.
Ob der Benchmark externe Prüfung bestanden hat, steht nicht in der Ankündigung. Seit dem 3. November ist er öffentlich, mit technischem Bericht, Daten und Code, sodass jeder die Rechnungen nachvollziehen kann, der sich die Mühe machen will.
Wer Modelle für lange Dokumente auswählt, hat damit eine Aufgabe, die näher am Alltag liegt als das Abfragen einzelner Fakten. Ein Modell, das den Besitzstand eines Projekts über hundert Seiten mitführt und dabei jede Änderung korrekt verbucht, ist im Betrieb mehr wert als eines, das eine Zahl im Text findet. Bleibt die Frage, ob die Hersteller ihre Architekturen entsprechend umbauen?
