AI 모델인기

Inkling 2 Mini, 24개 층을 세 번 돌려 노트북에 올렸다

Thinking Machines Lab이 20일 open weights로 공개한 Inkling 2 Mini는 가운데 12개 층을 토큰마다 세 번 돌리는 looped transformer다. 계산은 48층만큼 하면서 저장은 24층으로 끝내고, 그 대신 외운 사실은 늘리지 않는다.

김민준김민준
인기 지수: 1,710
노트북 윤곽 안에서 세 장의 층 시트가 고리 화살표를 통과하는 그림

Thinking Machines Lab이 20일 open weights로 공개한 Inkling 2 Mini는 가운데 12개 층을 토큰마다 세 번 돌리는 looped transformer다. 계산은 48층만큼 하면서 저장은 24층으로 끝내고, 그 대신 외운 사실은 늘리지 않는다.

Inkling 2 Mini가 층을 세 번 돌리는 이유

구조는 결정 하나로 요약된다. 디코더 층 24개 중 가운데 12개(6번부터 17번)를 토큰마다 세 번 통과시킨다. 저장된 층은 24개인데 계산은 48번 일어나는 셈이다.

Thinking Machines Lab은 이 반복이 추론을 길게 만든다고 설명한다. 답을 내기 전에 더 많은 단계를 밟되, 그 과정을 글로 길게 적지 않아도 된다는 뜻이다. 회사가 함께 내놓은 monitorability 연구도 같은 지점을 다룬다. 반복을 늘려도 모델이 감시를 피하는 쪽으로 움직이지 않았다는 관찰이다.

숫자로 본 Inkling 2 Mini의 크기

크기는 왜 두 숫자로 나뉠까? 26.4B를 들고 있지만 토큰 하나에 실제로 쓰이는 값은 3.4B, 가중치 활성화는 5.4B다. 층마다 128개 전문가 중 8개를 고르기 때문이다.

항목

값

총 파라미터

26.4B

토큰당 활성

3.4B, 가중치 활성 5.4B

컨텍스트

100만 토큰, 이미지 입력 지원

가중치 용량

약 20GB

20GB는 양자화 손실을 줄인 결과다. 20개 층은 NVFP4로 학습하고 배포하며 마지막 4개 층만 MXFP8을 쓴다.

벤치마크에서 앞선 범위는 100B 미만 open weights 모델이다

회사가 내세우는 범위는 좁다. 총 파라미터 100B 미만 open weights 모델 중 최고 성적이라는 주장이다. DeepSWE v1.1에서 48.2%, Vals Index v2.2에서 46.5%를 기록했다.

Artificial Analysis 지능 지수 v5에서는 20.1로 Qwen3.8-27B와 동률이다. Hugging Face는 Gemma 4 31B, Muse Glimmer, Qwen3.8-27B, Nemotron 3.5 Super VL과 비교해 48개 벤치마크 가운데 32개에서 Inkling 2 Mini가 앞섰다고 적었다.

약점도 있다. MultiChallenge 50.0%, ComplexConstraints v1.1 33.4%로 Qwen3.8-27B에 뒤진다. 여러 턴 대화와 제약이 많은 지시에서 밀린다는 뜻이다. 수치는 두 게시물이 밝힌 값이고 독립 검증은 없다.

looped transformer가 바꾸지 못하는 것: 사실 암기

반복은 계산을 늘리지, 지식을 늘리지 않는다. 회사는 AA-Omniscience 점수가 같은 크기 모델들과 비슷한 수준이라고 밝혔다. 이득은 닫힌 책 사실 질문이 아니라 긴 문맥과 여러 단계 추론에서 나온다.

연구용 변형 TML-d24-varloop-research는 이 차이를 숫자로 보여 준다. 반복 1회에서 16초였던 no-CoT 시간 지평이 3회에서 37초로 늘었다. 대신 5회 반복에서 모델이 쓴 추론 길이는 평균 1,661토큰으로, 1회의 3,703토큰보다 짧았다. 더 오래 생각하면서 설명은 줄인 셈이다.

Inkling 2 Mini를 노트북에서 돌리는 방법

가중치는 Hugging Face에 있고, transformers의 AutoModelForMultimodalLM으로 바로 읽힌다. SGLang은 공개 첫날부터 지원하고, llama.cpp GGUF는 IQ4_NL과 Q8_0으로 나와 Llama App에서 실행된다. Mac에서는 MLX, 호스팅과 커스터마이징은 Tinker가 경로다.

이 모델을 돌리려면 24GB VRAM 노트북이 편한 출발점이다. IQ4_NL을 쓰면 더 작은 기기에서도 시도할 수 있지만, 긴 컨텍스트를 함께 쓰면 메모리가 먼저 바닥난다. 한국어 계약서나 논문 더미를 한 번에 넣는 용도라면 100만 토큰 창은 매력적이지만, 256K를 넘는 구간은 MRCR v2 8-needle 46.4%로 아직 넉넉하지 않다.

Inkling 2 Mini 비행 시뮬레이터 데모가 말하는 것

회사는 비행기 모드의 MacBook Pro(M5 Pro, 48GB)에서 이 모델을 돌려 몇 분 만에 조작 가능한 비행 시뮬레이터를 만들었고, 네트워크 없이 코드를 쓰고 고치는 그 장면이 이 모델의 판매 포인트다.

local AI에서 looped transformer가 남기는 질문

작은 모델의 층 재사용에는 실험이 더 붙을 가능성이 크다. 같은 저장 공간으로 더 많은 계산을 사는 거래다. 다른 회사가 더 느슨한 안전장치로 looped 모델을 학습시킬 때 monitorability 관찰이 그대로 유지되는지는 아직 답이 없다. 노트북에서 로컬 모델을 돌려 볼 사람이라면 IQ4_NL부터 시작해 자기 작업에서 실제로 버티는지 확인하는 편이 빠르다.

이 소식 공유하기

출처

관련 AI 뉴스

상승하는 보상 곡선과 27B 배지가 나란히 있는 터미널 창
AI 모델

DaisyRose-27B, 18일 학습으로 Terminal-Bench 4.1 점수 두 배

RadixArk가 20일 공개한 DaisyRose-27B는 새로 설계한 모델이 아니다. Qwen3.8-27B의 구조와 토크나이저, 채팅 템플릿, 이미지 이해, 256K 컨텍스트를 그대로 두고 reinforcement learning만으로 다시 훈련한 결과물이다.

인기 지수: 1,330
어두운 배경에 길게 뻗은 청록색 오디오 파형과 주황색 강조 막대 하나
AI 모델

Rumble-2-Flash는 0.5B로 30B 전화 상담 성적을 따라잡았다

전화 상담 녹취를 글로 옮기는 일은 오래 GPU 여러 장을 전제로 했다. Reson8이 내놓은 Rumble-2-Flash는 그 전제를 0.5B 파라미터로 줄여 놓았다.

인기 지수: 560
짙은 파란 배경 위로 작은 빛 코어를 감싸 도는 세 개의 네온 고리
AI 모델

Gemini 4 Neon 공개, 구독자 선택지는 네 개로 정리됐다

구글이 Gemini 4 Neon을 내놓으면서 유료 구독자가 고를 수 있는 모델이 다시 바뀌었다. Argon에 익숙해진 사람과 3.1 Pro를 쓰던 사람은 오늘 앱을 열어 목록을 다시 봐야 한다.

인기 지수: 1,500
추론 광선이 둘러싼 큰 모델 코어 옆의 작은 고속 코어와 오른쪽으로 떨어지는 가격 막대
AI 모델

GPT-6.2 Astra, 20% 싸졌지만 1등은 아니다

OpenAI가 11월 17일 GPT-6.2 Astra와 GPT-6.2 Sol을 공개하고 Astra의 API 값을 20% 깎았다. 토큰 단가가 내려간 것과 작업 하나에 나가는 돈이 줄어든 것은 같은 말이 아니다.

인기 지수: 1,900