Hierarchical Reasoning Model

HRMモデルが実践する階層的推論は、この2700万パラメータモデルが仕事を2つの結合した再帰的推論モデルのモジュールに分けるところから始まる。上位モジュールはゆっくり計画して方向を定め、下位モジュールは速く計算して細部を埋める。これは人間の皮質の複数時間スケール処理に対応する。上位の領域が長い時間をかけて情報を統合し、下位の領域がその場で反応する仕組みだ。この設計により、Transformerの層を何十も積まずに本当の計算の深さへ到達できる。

モデルは1回の順伝播で答えに達し、途中の段階を誰も監督しない。思考の連鎖のテキストも、段階ごとのプロンプトもない。論文は言語を意思疎通の道具であり思考の基盤ではないと位置づける。HRMは潜在空間で推論し、最終結果だけを出す。これがCoTモデルを鈍らせる遅延とデータコストを削る。

2700万パラメータのモデルは約1000サンプルで学習し、ラベル付きの推論過程を必要としない。事前学習も CoTデータも要らないので、研究室が自前でゼロから鍛えられる。Sapient Intelligenceによれば、その規模でも最難関の数独と大きな迷路の経路探索でほぼ満点に近い成績を出す。思考の連鎖モデルがゼロに終わるタスクだ。研究用途では、この小ささが最大の売りになる。

HRMは問題に応じてどれだけ考えるかを決める。上位モジュールが更新し、下位モジュールを収束させ、また繰り返す。学んだ停止シグナルが打ち切りの時点を決める。易しいパズルは少ないサイクルで済み、難しい問題は多く使う。計算量は固定ステップではなく難易度に応じて伸びる。この推論時の拡張が、小さなモデルを問題の奥深くへ進ませる。

Abstraction and Reasoning Corpus（ARC-AGI）は、丸暗記した知識ではなく汎用的な推論を測るために作られたベンチマークだ。著者によればHRMはARC-AGI-1で、o3-mini-highやClaude 3.7を含む、より大きくコンテキスト窓も長いモデルを上回った。しかもランダムな重みから出発し、思考の連鎖を一切使っていない。のちにARC Prizeのチームが隠しデータで再測定し、30%台前半のスコアを再現した。これだけ小さなモデルには十分高いが、論文の元の数字は下回る。

Sapient Intelligenceはコードと重みをGitHubで公開したので、誰でも実験をやり直せる。リポジトリには学習、評価、パズルのデータセット、ARCノートブックがそろう。数週間で星は数千に達し、議論も活発になった。結果が異例だったため、他の研究者が自分で確かめたいと思った点で、この公開は大きい。

同じアーキテクチャは今、約10億パラメータのテキスト生成モデルHRM-Textを支える。Sapientは後処理もRLHFも使わず、ゼロから学習させた。報道ではMATHで56.2、GSM8Kで84.5、ARC-Challengeで81.9、DROPで82.2とされ、16台のH100で2日足らずの学習で済む。元のHRMとは別リリースだが、アーキテクチャの向かう先を示している。