추리소설에서 칼을 누가 들고 있는지 따라가는 능력을 모델에 물었다. 어려운 단계에서는 최전선 모델도 긴 입력에서 13% 이하로 떨어졌다.
StateBench가 재는 것: 누가 칼을 들고 있는가
11월 3일 앨런AI연구소(AI2)가 StateBench를 공개했다. 기술 보고서와 데이터, 코드가 함께 나왔다. 겨냥한 것은 검색이 아니라 상태 추적이다. AI2가 이 능력을 부르는 이름은 state tracking이고, 문서가 길어지면서 인물이 가진 물건이 바뀔 때 모델이 그 변화를 끝까지 따라가는지를 잰다.
예시는 소설에서 가져왔다. 살인 직전에 존이 메리에게 칼을 건넨다는 문장이 나오면 독자는 칼의 주인이 바뀌었다는 것을 안다. 한 단계 어려운 경우도 있다. 존이 배낭을 건네는데, 칼은 그 전에 에드워드가 배낭에 넣어 둔 물건이다.
AI2 Benchmark의 네 단계
난이도는 대입 방식으로 갈린다. 값이 변하지 않는 r-trivial, 값이 다시 대입되는 aperiodic, 자기 자신을 참조하는 soluble, 다른 변수를 가리키는 general finite로 나뉘고, 이름은 낯설지만 대입문 한 줄로 설명되는 개념들이다. 생일이나 고정된 상수가 첫 단계이고, 온도 조절기 설정이 두 번째, 게임 점수 누적이 세 번째, 다섯 개 컵 사이에서 공을 옮기는 문제가 네 번째에 해당한다.
중요한 것은 조건 통제다. 네 단계 모두 변수 개수와 값의 종류, 갱신 위치가 같고 대입의 종류만 다르다. 그래서 점수를 나란히 놓고 비교할 수 있다.
Long Context Benchmark에서 형식이 점수를 바꾼다
AI2가 강조한 것은 형식의 영향이다. 2억 7,500만 파라미터 하이브리드 모델과 Gated DeltaNet 모델은 RULER 방식의 r-trivial 문제에서 천장에 가까운 점수를 냈다. 같은 문제를 스프레드시트 편집 형태로 바꾸면 확률 수준으로 떨어졌다. 그래서 StateBench는 여러 형식을 함께 본다.
Olmo 3로 본 오픈 모델의 한계
AI2는 자사 오픈 모델도 같은 시험대에 올렸다. 트랜스포머 기반 Olmo 3와 Gated DeltaNet 층을 더한 Olmo Hybrid, 그리고 275M과 2.7B 모델이다. 학습 데이터는 같고, 어느 모델도 64,000토큰을 넘는 문맥으로 학습하지 않았는데 시험은 그보다 훨씬 긴 입력까지 갔다.
거의 모든 모델이 r-trivial은 처리했다. aperiodic은 입력이 길어질수록 정확도가 떨어졌고, general finite에서는 확률 수준에 머물렀다. 학습한 길이의 몇 배까지 버티는지가 모델마다 갈렸다는 뜻이다.
StateBench가 돌린 최전선 모델 네 개
가장 관심을 끄는 것은 최전선 모델의 결과다. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, GPT-6 Luna를 돌렸다. 넷 다 r-trivial과 aperiodic에서는 잘했지만 soluble과 general finite에서는 입력이 길어질수록 정확도가 급하게 떨어졌고, 가장 긴 general finite 문제에서는 13% 이하까지 내려갔다.
AI2는 민감도를 원인으로 지목한다. 그 수준에서는 단계가 조금만 달라져도 답이 바뀌기 때문이다.
275M 모델이 밑바닥부터 배운 것
흥미로운 부분은 직접 학습 실험이다. 275M 모델 여섯 개를 같은 조건에서 학습시켰다. 트랜스포머 둘, 하이브리드 둘, Gated DeltaNet 둘이다. 학습 시퀀스는 최대 256개 대입이었고, 시험은 64,000까지 갔다. 학습 길이의 250배다.
결과는 아키텍처 쪽에 손을 들어준다. Gated DeltaNet과 하이브리드는 쉬운 세 단계에서 거의 완벽하게 일반화했다. 트랜스포머는 긴 시퀀스에서 무너졌고 general finite는 아예 배우지 못했다. 가장 유연한 Gated DeltaNet은 학습 길이의 약 10배까지 거의 완벽한 성능을 유지했다.
논문에는 새 증명도 들어 있다. 음이 아닌 고유값을 쓰는 메모리 갱신을 가진 Gated DeltaNet이 모든 aperiodic 과제와 일부 주기 과제를 산술 정밀도를 고정한 조건에서 풀 수 있다는 결과도 함께 담겼다. 이 모델이 계층에서 정확히 어디에 놓이는지, soluble 과제를 전부 푸는지는 아직 열려 있다.
StateBench가 다루지 못하는 것
논문이 스스로 밝힌 한계가 있다. 변수 개수가 고정되어 있다는 전제다. 실제 대화는 새 인물과 사물이 계속 등장하는데, 지금 틀은 그 경우를 다루지 못한다.
학회 발표와 동료 검토 여부는 공개 자료에서 확인되지 않는다. 점수는 AI2가 직접 돌린 결과이고, 외부 연구소의 재현은 아직 없다.
그럼 이 결과를 어디에 써야 하나? 계약서나 운영 일지처럼 사실이 계속 바뀌는 긴 문서를 모델에 맡길 때다. 한 군데를 찾아내는 능력과 바뀐 내용을 끝까지 들고 가는 능력은 다르다. StateBench는 그 차이를 재는 첫 번째 도구에 가깝고, 지금 숫자는 후자가 아직 약하다는 쪽을 가리킨다.
