Hierarchical Reasoning Model

Als HRM-Modell ist das hierarchisches Reasoning ein rekursives Reasoning-Modell, das auf zwei gekoppelte rekurrente Module setzt. Das Modul hoher Ordnung plant langsam und gibt die Richtung vor, das Modul niedriger Ordnung rechnet schnell und füllt das Detail. Das ahmt die Verarbeitung auf mehreren Zeitskalen im menschlichen Kortex nach, wo höhere Regionen Informationen länger zusammenführen und niedrigere im Moment reagieren. Das Design lässt das Modell echte Rechentiefe erreichen, ohne Dutzende Transformer-Schichten zu stapeln.

Das Modell kommt in einem einzigen Durchlauf zu einer Antwort, und nichts überwacht die Zwischenschritte. Es gibt keinen Gedankenketten-Text und keinen Schritt-für-Schritt-Prompt. Das Paper argumentiert, Sprache sei ein Werkzeug der Kommunikation, nicht der Träger des Denkens, das HRM denkt also in einem latenten Raum und gibt nur das Endergebnis aus. Das senkt Latenz und Datenkosten, die CoT-Modelle ausbremsen.

Das Modell mit 27 Millionen Parametern trainiert mit rund 1.000 Beispielen und braucht dafür keine beschrifteten Reasoning-Spuren. Es verlangt kein Vortraining und keine CoT-Daten, ein Labor kann es also von Grund auf trainieren. Laut Sapient Intelligence erzielen diese Zahlen fast perfekte Werte bei extremem Sudoku und bei der Wegsuche in großen Labyrinthen, Aufgaben, bei denen CoT-Modelle null erreichen. Für einen Forschungsaufbau ist der kleine Umfang der Hauptvorteil.

Das HRM entscheidet, wie viel Nachdenken ein Problem braucht. Das Modul hoher Ordnung aktualisiert sich, lässt das Modul niedriger Ordnung konvergieren und wiederholt das, ein gelerntes Haltesignal bestimmt den Schluss. Einfache Rätsel brauchen weniger Zyklen, schwere mehr, das Rechnen skaliert also mit der Schwierigkeit statt eine feste Schrittanzahl abzuspulen. Diese Skalierung zur Inferenzzeit lässt ein winziges Modell tief in ein Problem eindringen.

Der Abstraction and Reasoning Corpus (ARC-AGI) ist ein Benchmark, der allgemeines Reasoning prüft statt auswendig gelerntes Wissen. Laut den Autoren schlug das HRM deutlich größere Modelle mit längeren Kontextfenstern bei ARC-AGI-1, darunter o3-mini-high und Claude 3.7, und startete dabei von zufälligen Gewichten ohne Gedankenkette. Das ARC-Prize-Team testete es später auf einem verborgenen Satz erneut und reproduzierte einen Wert im niedrigen Dreißig-Prozent-Bereich, noch stark für ein so kleines Modell, aber unter der ursprünglichen Zahl.

Sapient Intelligence hat Code und Gewichte auf GitHub veröffentlicht, jeder kann die Experimente also wiederholen. Das Repository deckt Training, Auswertung, einen Rätseldatensatz und ein ARC-Notebook ab und sammelte binnen Wochen Tausende Sterne und eine rege Diskussion. Die offene Veröffentlichung ist hier wichtig, weil die Ergebnisse ungewöhnlich genug waren, dass andere Forscher sie selbst prüfen wollten.

Dieselbe Architektur trägt inzwischen HRM-Text, ein Textgenerierungsmodell mit rund 1 Milliarde Parametern, das Sapient von Grund auf ohne Post-Training und ohne RLHF trainierte. Berichte nennen Werte von 56,2 bei MATH, 84,5 bei GSM8K, 81,9 bei ARC-Challenge und 82,2 bei DROP, trainiert in unter zwei Tagen auf 16 H100. Es ist eine eigene Veröffentlichung neben dem ursprünglichen HRM, zeigt aber, wohin die Architektur geht.