Un lector de novela negra recuerda quién tiene el cuchillo cuando el arma cambia de manos. StateBench mide si un modelo hace lo mismo en documentos largos, y los resultados separan modelos que parecían igual de buenos.
Qué mide StateBench y por qué no basta con recuperar un dato
AI2 publicó StateBench el 3 de noviembre, junto con un informe técnico, los datos y el código. Es un benchmark de contexto largo, pero su foco no es la recuperación: pregunta si el modelo sigue el rastro de un dato cuando ese dato cambia.
El ejemplo del blog es doméstico. En una novela, "John le dio el cuchillo a Mary" obliga al lector a actualizar quién lleva el arma. La versión difícil es otra: John entrega la mochila, y el cuchillo lo había guardado Edward antes.
Ese tipo de actualización es el seguimiento de estado, y en un documento de trabajo aparece todo el tiempo: un contrato que cambia de responsable, un pedido que pasa de borrador a enviado.
Los cuatro niveles de dificultad de StateBench
Los niveles se definen por el tipo de asignación. En r-trivial el valor no cambia nunca, como una fecha de nacimiento. En aperiodic se reasigna por valor, como un termostato que pasa de 4 a 2.
El tercero, soluble, usa una actualización autorreferente del tipo x = x + 5, la lógica de un marcador. El cuarto, general finite, asigna por referencia: x = y, o una bola que se mueve entre cinco vasos.
Los cuatro niveles usan el mismo número de variables, valores y posiciones de actualización. Solo cambia la clase de asignación que se pide en cada paso, de modo que los resultados de los cuatro niveles se pueden comparar entre sí sin ajustes.
Qué les pasa a los modelos abiertos de AI2 en StateBench
AI2 probó Olmo 3, un transformer, y Olmo Hybrid, que añade capas Gated DeltaNet. También versiones de 275 millones y 2.700 millones de parámetros, todas con los mismos datos de preentrenamiento.
Ninguno de esos modelos se entrenó con contextos de más de 64.000 tokens, y aun así todos se evaluaron bastante más allá de esa marca. Casi todas resolvieron r-trivial. En aperiodic la precisión cayó a medida que crecía la entrada, y en general finite se quedaron en el nivel del azar.
El formato cambia el resultado en StateBench: RULER frente a hojas de cálculo
Aquí está el hallazgo que más incomoda. Los modelos híbridos de 275 millones y los Gated DeltaNet rozaban el techo en problemas r-trivial al estilo RULER. Con los mismos problemas planteados como ediciones de hoja de cálculo, bajaban al azar.
Por eso StateBench prueba varios formatos. La lección es incómoda para cualquier evaluación que use una sola plantilla: el modelo puede parecer competente por cómo se le pregunta, no por lo que entiende.
Ahí falla la medición.
Los modelos frontera en StateBench y el 13% en los casos más duros
¿Los modelos que se usan a diario se comportan igual? AI2 evaluó Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna. Los cuatro rindieron bien en r-trivial y en aperiodic.
En soluble y general finite la historia cambia. La precisión se desploma a medida que la entrada se alarga, y en los problemas de general finite más largos cae al 13% o menos. AI2 señala la sensibilidad del test: en esos niveles, unos pocos pasos de más bastan para cambiar la respuesta.
El experimento de AI2 con seis modelos pequeños y 250 veces más contexto
El equipo entrenó seis modelos de 275 millones desde cero: dos transformers, dos híbridos y dos variantes de Gated DeltaNet. Los entrenaron con secuencias de hasta 256 asignaciones.
Después los probaron con entradas de hasta 64.000 tokens, 250 veces la longitud que habían visto durante el entrenamiento. Los Gated DeltaNet y los híbridos generalizaron casi a la perfección. Los transformers se degradaron con las secuencias largas y nunca aprendieron general finite. El Gated DeltaNet más flexible aguantó cerca del ideal hasta unas 10 veces su secuencia de entrenamiento más larga.
La prueba matemática sobre Gated DeltaNet
El informe añade un resultado teórico. Un Gated DeltaNet con una actualización de memoria de autovalor no negativo puede resolver todas las tareas aperiodic y algunas periódicas en aritmética de precisión fija.
Su lugar exacto en la jerarquía sigue abierto, y también si resuelve todas las tareas soluble. Es una prueba parcial, no una garantía de que la arquitectura baste.
Los límites que AI2 reconoce en StateBench
El propio equipo marca una frontera. StateBench asume un número fijo de variables, y una conversación real introduce entidades nuevas sobre la marcha. Ese caso queda fuera del marco actual.
Hay una limitación de fondo. El benchmark mide seguimiento de estado en documentos, no comprensión del mundo. Un modelo puede acertar el test y seguir sin entender por qué importa el cuchillo en una escena de crimen.
Para quien quiera reproducirlo, AI2 publicó datos y código junto al informe. La parte útil no es la tabla de resultados, sino el mapa de qué tipo de actualización rompe a cada arquitectura y a partir de qué longitud empieza a fallar.
