O AI2 publicou o StateBench, um teste que mede se o modelo acompanha mudanças de fatos ao longo de um documento longo, em vez de apenas achar uma informação isolada. Nos níveis mais difíceis, modelos de fronteira caem para 13% ou menos de acerto.
O que o StateBench mede em um documento longo
A pergunta que o benchmark faz é simples de enunciar e difícil de responder. O modelo consegue manter o estado das coisas enquanto lê?
O exemplo do próprio AI2 vem de um romance policial. Se o texto diz que John entregou a faca para Mary pouco antes do crime, o leitor precisa atualizar quem está com a faca. Uma versão mais dura: John entrega a mochila, e a faca tinha sido colocada lá antes por Edward.
Perceber isso exige mais do que buscar a palavra faca.
Acompanhar estado é outra coisa.
Os quatro níveis do benchmark da AI2
O StateBench organiza o problema em quatro tipos de atribuição, do mais fácil ao mais difícil.
O primeiro é o r-trivial, com atribuição imutável. Pense em let x = 4 ou em uma data de nascimento gravada no documento.
O segundo é o aperiódico, com reatribuição por valor: o x vale 4 e depois passa a valer 2, como um termostato que muda de faixa conforme a temperatura da sala sobe ou desce.
O terceiro é o solúvel, com atualização autorreferente. O x recebe x + 5, o que lembra o placar de um jogo subindo a cada rodada.
O quarto é o geral finito, com atribuição por referência: o x recebe y, como duas variáveis que trocam de valor entre si. O exemplo físico é a bola escondida entre cinco copos, o problema S₅.
Todos os níveis usam o mesmo número de variáveis, valores e posições de atualização, e só o tipo de atribuição muda, o que permite comparar os resultados.
Como os modelos abertos se saíram no StateBench
O AI2 testou o Olmo 3, um transformer, e o Olmo Hybrid, que adiciona camadas Gated DeltaNet. Também entrou uma dupla menor, com modelos de 275 milhões e 2,7 bilhões de parâmetros.
Todos foram treinados com os mesmos dados e nenhum viu contexto acima de 64 mil tokens. Na avaliação, foram testados bem além disso.
O padrão se repetiu: quase todos lidaram com o r-trivial, a precisão caiu no aperiódico conforme a entrada crescia e, no geral finito, ficaram no nível do chute.
Por que o formato da pergunta muda o resultado no StateBench
Um achado do estudo vale para qualquer avaliação de contexto longo. O formato importa tanto quanto o conteúdo.
Os modelos híbridos de 275 milhões e os Gated DeltaNet chegaram perto do teto em problemas r-trivial no estilo RULER. Os mesmos problemas, apresentados como edições de planilha, derrubaram o desempenho para perto do chute.
É por isso que o StateBench testa vários formatos. Um benchmark único pode dar a impressão de que o modelo domina a tarefa quando ele só decorou a apresentação. Um formato só não basta.
Os modelos de fronteira e os 13% no nível mais difícil
O time avaliou quatro modelos de fronteira: Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol e GPT-6 Luna.
Os quatro foram bem no r-trivial e no aperiódico, mas no solúvel e no geral finito a precisão caiu de forma acentuada à medida que a entrada ficava mais longa, chegando a 13% ou menos nos problemas mais extensos.
Vale ler o número com cuidado, porque não é que os modelos não saibam acompanhar estado. Eles acompanham nos níveis fáceis. O problema aparece quando cada passo pode mudar a resposta, e documentos longos dão muitos passos.
O experimento do StateBench com modelos treinados do zero
Para separar arquitetura de escala, o AI2 treinou seis modelos de 275 milhões de parâmetros. Dois transformers, dois híbridos e duas variantes de Gated DeltaNet.
O treino usou sequências de até 256 atribuições, e o teste foi até 64 mil, 250 vezes o comprimento visto no treinamento.
Gated DeltaNet e híbridos generalizaram quase perfeitamente nos três níveis mais fáceis. Os transformers pioraram em sequências longas e nunca aprenderam o geral finito. A variante mais flexível de Gated DeltaNet ficou perto do perfeito até cerca de dez vezes o maior comprimento de treino.
O artigo traz ainda uma prova nova: Gated DeltaNet com atualização de memória de autovalor não negativo resolve todas as tarefas aperiódicas e algumas periódicas em aritmética de precisão fixa. O lugar exato dessa arquitetura na hierarquia, e se ela resolve todas as tarefas solúveis, segue em aberto.
Os limites do StateBench
O próprio AI2 aponta a principal limitação: o benchmark assume um número fixo de variáveis, e conversas reais introduzem entidades novas o tempo todo, algo que o framework atual não cobre.
Também não há revisão por pares até agora. O material saiu como relatório técnico, com dados e código, no site do instituto.
Para quem usa modelos em documentos longos, testar com uma pergunta de recuperação não mostra se o modelo acompanha o fio da história, porque a resposta pode estar no texto sem que o estado esteja correto. Vale montar um caso em que um fato muda três ou quatro vezes e ver o que sobra no final.
