AI2 publie StateBench, un test qui mesure si un modèle suit l'évolution des faits dans un long document. Les meilleurs modèles tombent à 13 % ou moins sur les cas les plus durs.
Ce que mesure StateBench, le nouveau benchmark d'AI2
Le 3 novembre 2026, l'Allen Institute for AI a mis en ligne StateBench, avec un rapport technique, les données et le code. Ce benchmark AI2 ne demande pas de retrouver une information dans un texte, ce que font déjà les tests classiques. Il demande de suivre un état qui change.
L'exemple de l'institut est limpide. Dans un roman policier, « John donne le couteau à Mary » juste avant un meurtre oblige le lecteur à mettre à jour qui tient l'arme. La version difficile : John tend son sac à dos, et le couteau y avait été glissé plus tôt par Edward. Le modèle doit remonter la chaîne, pas seulement lire la dernière phrase.
Un benchmark de contexte long classique s'arrête à l'avant-dernière étape. Il vérifie que le modèle retrouve le couteau dans le sac, pas qu'il comprenne à qui appartient le sac à ce moment du récit.
Quatre niveaux de suivi d'état, du plus simple au plus retors
StateBench range les tâches en quatre familles, selon la façon dont une variable reçoit sa valeur.
Le niveau r-trivial couvre l'affectation immuable : une date de naissance, une constante. Le niveau apériodique couvre la réaffectation par valeur, comme un thermostat qui passe de 19 à 21. Le niveau soluble couvre la mise à jour autoréférente, du type « score = score + 5 ». Le niveau general finite couvre l'affectation par référence, par exemple échanger deux variables ou suivre une balle déplacée entre cinq gobelets par un spectateur.
Tous les niveaux utilisent le même nombre de variables, de valeurs et de positions de mise à jour. Seul le type d'affectation change, ce qui rend les scores comparables d'un niveau à l'autre.
Les modèles ouverts d'AI2 décrochent sur le suivi d'état
AI2 a testé Olmo 3, un transformeur, et Olmo Hybrid, qui ajoute des couches Gated DeltaNet, dans des tailles de 275 millions et 2,7 milliards de paramètres. Même corpus de préentraînement, aucun contexte au-delà de 64 000 jetons à l'entraînement, des tests bien au-delà.
Presque tous gèrent le niveau r-trivial. La précision baisse sur le niveau apériodique à mesure que l'entrée s'allonge. Sur le niveau general finite, ils restent au niveau du hasard, quel que soit le format.
Un détail compte pour l'évaluation. Le modèle hybride de 275 millions et les variantes Gated DeltaNet frôlent le plafond sur des problèmes r-triviaux présentés à la manière de RULER, une famille de tests de contexte long, et retombent au hasard quand les mêmes problèmes prennent la forme de modifications de tableur. D'où le choix de multiplier les formats.
Gemini, Claude et GPT-6 sous les 13 % au niveau le plus dur
Quatre modèles de pointe ont passé le test : Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et GPT-6 Luna. Tous réussissent bien les niveaux r-trivial et apériodique.
Sur les niveaux soluble et general finite, la précision s'effondre quand l'entrée s'allonge. Elle tombe à 13 % ou moins sur les problèmes general finite les plus longs. AI2 parle de sensibilité : à ce niveau, quelques étapes de plus suffisent à changer la réponse.
Voilà la nuance que les titres pressés oublieront. Ces modèles ne perdent pas le fil sur un roman policier de six cents pages. Ils le perdent quand les faits se réécrivent en chaîne.
Comment un modèle peut-il tenir 64 000 jetons et buter sur la troisième réaffectation ? Parce que la longueur n'est pas le seul axe du problème, et c'est justement ce que le découpage en quatre niveaux permet de voir.
Le cas se présente dans un dossier client, un journal de bord ou une négociation à plusieurs tours, trois situations où l'information initiale reste vraie jusqu'à ce qu'une phrase la contredise.
Pourquoi l'architecture compte autant que la taille dans StateBench
L'expérience la plus instructive est celle des modèles entraînés de zéro. Six modèles de 275 millions de paramètres, deux transformeurs, deux hybrides, deux variantes Gated DeltaNet, formés sur des séquences allant jusqu'à 256 affectations et testés jusqu'à 64 000, soit 250 fois la longueur d'entraînement.
Les modèles Gated DeltaNet et hybrides généralisent presque parfaitement sur les trois niveaux les plus simples. Les transformeurs se dégradent sur les longues séquences et n'apprennent jamais le niveau general finite. Le Gated DeltaNet le plus souple reste proche du sans-faute jusqu'à environ dix fois sa plus longue séquence d'entraînement.
Le message est clair. À taille égale, le mécanisme de mémoire décide.
Mémoire, pas taille.
La preuve sur Gated DeltaNet et ce qu'elle ne règle pas
Le rapport contient un résultat théorique. Un Gated DeltaNet dont la mise à jour de mémoire utilise une valeur propre non négative résout toutes les tâches apériodiques et certaines tâches périodiques, en arithmétique à précision fixe.
Sa place exacte dans la hiérarchie reste ouverte, comme la question de savoir s'il résout toutes les tâches solubles. La preuve couvre une famille de tâches, pas le problème général.
Les limites que StateBench assume
Le cadre suppose un nombre fixe de variables. Une vraie conversation introduit de nouvelles entités au fil des tours, ce que le test ne modélise pas encore.
Le benchmark n'est pas passé par une revue par les pairs. Les résultats viennent de l'institut qui l'a conçu, et aucun laboratoire extérieur ne les a reproduits à ce jour.
Ces réserves ne retirent rien à l'intérêt du test. Elles rappellent qu'un score de 13 % mesure une famille de tâches précise, pas la mémoire d'un modèle en général. Pour un développeur qui construit un agent sur un long dossier, c'est déjà l'information la plus utile de la semaine.
