Hierarchical Reasoning Model

이 2700만 파라미터 모델 안에서 재귀 추론 모델인 HRM은 일을 두 개의 결합된 순환 모듈로 나눈다. 상위 모듈은 천천히 계획하고 방향을 잡으며, 하위 모듈은 빠르게 계산해 세부를 채운다. 인간 피질의 다중 시간 규모 처리에 대응한다. 상위 영역이 더 긴 시간에 걸쳐 정보를 통합하고, 하위 영역이 즉각 반응하는 구조다. 이 설계 덕에 Transformer 층을 수십 개 쌓지 않고도 진짜 계산 깊이에 도달한다.

모델은 한 번의 순전파로 답에 이르고, 중간 단계를 감독하는 장치가 없다. 사고의 연쇄 텍스트도, 단계별 프롬프트도 없다. 논문은 언어가 소통의 도구이지 사고의 기반은 아니라고 본다. HRM은 잠재 공간에서 추론하고 최종 결과만 내놓는다. 이것이 CoT 모델을 붙잡는 지연과 데이터 비용을 깎는다.

2700만 개 파라미터 모델은 약 1000개 샘플로 학습하며, 라벨이 붙은 추론 흔적이 필요 없다. 사전 학습도 CoT 데이터도 요구하지 않으니 실험실이 직접 처음부터 학습시킬 수 있다. Sapient Intelligence에 따르면 이 규모로도 최난도 스도쿠와 큰 미로 경로 탐색에서 거의 완벽에 가까운 점수를 낸다. 사고의 연쇄 모델이 0점에 그치는 과제다. 연구 환경에서는 이 작은 크기가 최대 강점이다.

HRM은 문제에 따라 얼마나 생각할지 스스로 정한다. 상위 모듈이 갱신되고, 하위 모듈을 수렴시키고, 다시 반복한다. 학습된 중단 신호가 멈출 시점을 정한다. 쉬운 퍼즐은 적은 주기로 끝나고 어려운 문제는 더 쓴다. 계산량이 고정 단계가 아니라 난이도에 따라 늘어난다. 이 추론 시점 확장이 작은 모델을 문제 깊숙이 밀어 넣는다.

Abstraction and Reasoning Corpus(ARC-AGI)는 외워 둔 지식이 아니라 범용 추론을 재는 벤치마크다. 저자들에 따르면 HRM은 ARC-AGI-1에서 o3-mini-high와 Claude 3.7을 포함한, 더 크고 컨텍스트 창도 긴 모델들을 앞섰다. 그것도 무작위 가중치에서 출발해 사고의 연쇄를 전혀 쓰지 않고 해냈다. 이후 ARC Prize 팀이 숨은 세트에서 다시 측정해 30%대 초반 점수를 재현했다. 이렇게 작은 모델로는 여전히 높지만 논문의 원래 수치보다는 낮다.

Sapient Intelligence는 코드와 가중치를 GitHub에 공개해 누구나 실험을 다시 돌릴 수 있다. 저장소에는 학습, 평가, 퍼즐 데이터셋, ARC 노트북이 담겼다. 몇 주 만에 별이 수천 개로 늘고 토론도 뜨거워졌다. 결과가 워낙 이례적이라 다른 연구자들이 직접 확인하고 싶어 했다는 점에서 이 공개는 의미가 크다.

같은 아키텍처가 이제 약 10억 개 파라미터의 텍스트 생성 모델 HRM-Text를 떠받친다. Sapient는 후처리도 RLHF도 없이 처음부터 학습시켰다. 보도에 따르면 점수는 MATH 56.2, GSM8K 84.5, ARC-Challenge 81.9, DROP 82.2이며, 16대의 H100으로 이틀이 안 걸렸다. 원래 HRM과는 별개의 공개지만 아키텍처가 향하는 방향을 보여준다.