Thinking Machines Lab이 20일 open weights로 공개한 Inkling 2 Mini는 가운데 12개 층을 토큰마다 세 번 돌리는 looped transformer다. 계산은 48층만큼 하면서 저장은 24층으로 끝내고, 그 대신 외운 사실은 늘리지 않는다.
Inkling 2 Mini가 층을 세 번 돌리는 이유
구조는 결정 하나로 요약된다. 디코더 층 24개 중 가운데 12개(6번부터 17번)를 토큰마다 세 번 통과시킨다. 저장된 층은 24개인데 계산은 48번 일어나는 셈이다.
Thinking Machines Lab은 이 반복이 추론을 길게 만든다고 설명한다. 답을 내기 전에 더 많은 단계를 밟되, 그 과정을 글로 길게 적지 않아도 된다는 뜻이다. 회사가 함께 내놓은 monitorability 연구도 같은 지점을 다룬다. 반복을 늘려도 모델이 감시를 피하는 쪽으로 움직이지 않았다는 관찰이다.
숫자로 본 Inkling 2 Mini의 크기
크기는 왜 두 숫자로 나뉠까? 26.4B를 들고 있지만 토큰 하나에 실제로 쓰이는 값은 3.4B, 가중치 활성화는 5.4B다. 층마다 128개 전문가 중 8개를 고르기 때문이다.
항목 | 값 |
|---|---|
총 파라미터 | 26.4B |
토큰당 활성 | 3.4B, 가중치 활성 5.4B |
컨텍스트 | 100만 토큰, 이미지 입력 지원 |
가중치 용량 | 약 20GB |
20GB는 양자화 손실을 줄인 결과다. 20개 층은 NVFP4로 학습하고 배포하며 마지막 4개 층만 MXFP8을 쓴다.
벤치마크에서 앞선 범위는 100B 미만 open weights 모델이다
회사가 내세우는 범위는 좁다. 총 파라미터 100B 미만 open weights 모델 중 최고 성적이라는 주장이다. DeepSWE v1.1에서 48.2%, Vals Index v2.2에서 46.5%를 기록했다.
Artificial Analysis 지능 지수 v5에서는 20.1로 Qwen3.8-27B와 동률이다. Hugging Face는 Gemma 4 31B, Muse Glimmer, Qwen3.8-27B, Nemotron 3.5 Super VL과 비교해 48개 벤치마크 가운데 32개에서 Inkling 2 Mini가 앞섰다고 적었다.
약점도 있다. MultiChallenge 50.0%, ComplexConstraints v1.1 33.4%로 Qwen3.8-27B에 뒤진다. 여러 턴 대화와 제약이 많은 지시에서 밀린다는 뜻이다. 수치는 두 게시물이 밝힌 값이고 독립 검증은 없다.
looped transformer가 바꾸지 못하는 것: 사실 암기
반복은 계산을 늘리지, 지식을 늘리지 않는다. 회사는 AA-Omniscience 점수가 같은 크기 모델들과 비슷한 수준이라고 밝혔다. 이득은 닫힌 책 사실 질문이 아니라 긴 문맥과 여러 단계 추론에서 나온다.
연구용 변형 TML-d24-varloop-research는 이 차이를 숫자로 보여 준다. 반복 1회에서 16초였던 no-CoT 시간 지평이 3회에서 37초로 늘었다. 대신 5회 반복에서 모델이 쓴 추론 길이는 평균 1,661토큰으로, 1회의 3,703토큰보다 짧았다. 더 오래 생각하면서 설명은 줄인 셈이다.
Inkling 2 Mini를 노트북에서 돌리는 방법
가중치는 Hugging Face에 있고, transformers의 AutoModelForMultimodalLM으로 바로 읽힌다. SGLang은 공개 첫날부터 지원하고, llama.cpp GGUF는 IQ4_NL과 Q8_0으로 나와 Llama App에서 실행된다. Mac에서는 MLX, 호스팅과 커스터마이징은 Tinker가 경로다.
이 모델을 돌리려면 24GB VRAM 노트북이 편한 출발점이다. IQ4_NL을 쓰면 더 작은 기기에서도 시도할 수 있지만, 긴 컨텍스트를 함께 쓰면 메모리가 먼저 바닥난다. 한국어 계약서나 논문 더미를 한 번에 넣는 용도라면 100만 토큰 창은 매력적이지만, 256K를 넘는 구간은 MRCR v2 8-needle 46.4%로 아직 넉넉하지 않다.
Inkling 2 Mini 비행 시뮬레이터 데모가 말하는 것
회사는 비행기 모드의 MacBook Pro(M5 Pro, 48GB)에서 이 모델을 돌려 몇 분 만에 조작 가능한 비행 시뮬레이터를 만들었고, 네트워크 없이 코드를 쓰고 고치는 그 장면이 이 모델의 판매 포인트다.
local AI에서 looped transformer가 남기는 질문
작은 모델의 층 재사용에는 실험이 더 붙을 가능성이 크다. 같은 저장 공간으로 더 많은 계산을 사는 거래다. 다른 회사가 더 느슨한 안전장치로 looped 모델을 학습시킬 때 monitorability 관찰이 그대로 유지되는지는 아직 답이 없다. 노트북에서 로컬 모델을 돌려 볼 사람이라면 IQ4_NL부터 시작해 자기 작업에서 실제로 버티는지 확인하는 편이 빠르다.






