Hierarchical Reasoning Model

Aquí es donde el razonamiento jerárquico se vuelve concreto: como modelo de razonamiento recursivo, HRM reparte su trabajo entre dos módulos recurrentes acoplados. El módulo de alto nivel planifica despacio y marca la dirección; el de bajo nivel calcula rápido y rellena el detalle. Eso imita el procesamiento en varias escalas de tiempo de la corteza humana, donde las regiones superiores integran información durante más tiempo y las inferiores reaccionan al momento. El diseño permite al modelo alcanzar profundidad computacional real sin apilar decenas de capas Transformer.

El modelo llega a una respuesta en una sola pasada, y nada supervisa los pasos intermedios. No hay texto de cadena de pensamiento ni prompt paso a paso. Lo que sostiene el artículo es que el lenguaje es una herramienta de comunicación, no el sustrato del pensamiento, así que HRM razona en un espacio latente y solo emite el resultado final. Eso recorta la latencia y el coste en datos que frenan a los modelos CoT.

El modelo de 27 millones de parámetros entrena con unos 1.000 ejemplos, y no necesita trazas de razonamiento etiquetadas para lograrlo. No exige preentrenamiento ni datos de cadena de pensamiento, así que un laboratorio puede entrenarlo desde cero. Según Sapient Intelligence, esas cifras producen puntuaciones casi perfectas en sudoku extremo y en la búsqueda de rutas en laberintos grandes, tareas donde los modelos de cadena de pensamiento marcan cero. Para un montaje de investigación, el tamaño reducido es el gran atractivo.

HRM decide cuánto pensar según el problema. El módulo de alto nivel se actualiza, deja que el de bajo nivel converja y repite, y una señal de parada aprendida marca cuándo detenerse. Los puzles fáciles consumen menos ciclos y los difíciles, más, así que el cómputo escala con la dificultad en lugar de correr un número fijo de pasos. Esa ampliación en tiempo de inferencia es lo que deja que un modelo diminuto profundice en un problema.

El Abstraction and Reasoning Corpus (ARC-AGI) es un benchmark pensado para medir razonamiento general, no conocimiento memorizado. Según los autores, HRM superó a modelos mucho más grandes y con ventanas de contexto más largas en ARC-AGI-1, entre ellos o3-mini-high y Claude 3.7, partiendo de pesos aleatorios y sin cadena de pensamiento. Después, el equipo de ARC Prize lo volvió a probar en un conjunto oculto y reprodujo una puntuación en la treintena baja, todavía alta para un modelo tan pequeño, pero por debajo de la cifra original.

Sapient Intelligence publicó el código y los pesos en GitHub, así que cualquiera puede repetir los experimentos. El repositorio incluye entrenamiento, evaluación, un conjunto de datos de puzles y un cuaderno de ARC, y en pocas semanas acumuló miles de estrellas y un hilo de debate muy activo. La publicación abierta importa aquí porque los resultados eran lo bastante inusuales como para que otros investigadores quisieran comprobarlos por su cuenta.

La misma arquitectura sustenta ahora HRM-Text, un modelo de generación de texto de unos 1.000 millones de parámetros que Sapient entrenó desde cero sin post-entrenamiento ni RLHF. Los informes sitúan sus puntuaciones en 56,2 en MATH, 84,5 en GSM8K, 81,9 en ARC-Challenge y 82,2 en DROP, con un entrenamiento de menos de dos días en 16 H100. Es un lanzamiento aparte del HRM original, pero muestra hacia dónde va la arquitectura.