AI 模型熱門

Inkling 2 Mini 把中間 12 層跑三次,26B 模型離線塞進筆電

24 層的模型,跑出 48 層的計算深度。Thinking Machines Lab 把這個迴圈架構做成 open weights,讓代理任務有機會在筆電上離線完成。

陳柏宇陳柏宇
熱度:1,710
筆電輪廓裡有三張堆疊的層板,穿過一個迴圈箭頭

24 層的模型,跑出 48 層的計算深度。Thinking Machines Lab 把這個迴圈架構做成 open weights,讓代理任務有機會在筆電上離線完成。

Inkling 2 Mini 的做法:中間 12 層每個詞元跑三次

11 月 20 日,Thinking Machines Lab 釋出 Inkling 2 Mini,權重放上 Hugging Face 供下載。這顆模型的重點不在參數量,而在層數的用法:24 個解碼層裡,第 6 到第 17 層會在同一個詞元上重複執行三次,一次前向傳遞因此走了 48 層的計算,實際存下來的仍然只有 24 層。

這種設計叫 looped transformer。官方的說法是,迴圈讓模型有更長的計算時間,但不必把中間推理寫進思維鏈。代理任務正好吃這一套:寫程式、呼叫工具、讀錯誤訊息再修,每一步都要重新算,過去得靠更長的 chain-of-thought 換,現在可以靠重複的層數換。

26.4B 總參數與 3.4B 啟動參數:本地跑不跑得動

買家真正要看的,是每個詞元實際動用多少參數。它是混合專家模型(MoE),總參數 26.4B,每個詞元只啟動 3.4B,每層從 128 個專家裡挑 8 個。

項目

Inkling 2 Mini

總參數

26.4B

每詞元啟動參數

3.4B

每詞元權重啟動量

5.4B

專家數

128,每層選 8

上下文

1M 詞元

輸入

文字與圖像

權重體積

約 20GB

最後一列值得多說一句。20 層原生以 NVFP4 訓練與部署,最後 4 層用 MXFP8,沒有事後轉換的精度損失,整包權重約 20GB。這個數字決定它能不能塞進一台 48GB 記憶體的筆電,也決定 local AI 的門檻落在哪裡。

放到採購情境裡看更清楚。48GB 統一記憶體的 Mac 可以整包放進去,24GB 顯示記憶體的桌機就得靠量化,8GB 的入門顯卡只能跑小一點的蒸餾版。這也是為什麼官方同時給出 llama.cpp 的兩種量化:規格表上的 20GB 是原始權重,實際能不能跑,還要看你的機器留多少給上下文快取。

benchmark 的兩面:同級開源模型第一,兩項明顯落後

Thinking Machines 的說法是,在總參數低於 100B 的 open weights 模型裡,它在 DeepSWE v1.1 拿到 48.2%、Vals Index v2.2 拿到 46.5%,都是第一。Artificial Analysis 智慧指數 20.1,與 Qwen3.8-27B 同分,高於 Nemotron 3.5 Super VL 的 13.6 與 Gemma 4 31B 的 4.4。

Hugging Face 另外拿它跟 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL 對跑 48 項測試,Inkling 2 Mini 贏了 32 項。分項上,SWE-bench Verified 79.2%、Terminal Bench v2.1 71.6%、BrowseComp 79.0%、MCP Atlas 82.7%,都是能看的成績。

弱點同樣清楚。MultiChallenge 只有 50.0%,ComplexConstraints v1.1 是 33.4%,兩項都輸給 Qwen3.8-27B。多輪聊天與限制條件多的指令,是這顆模型的短處。上述數字都來自 Thinking Machines 與 Hugging Face 自家發布,沒有第三方複驗。

把這幾項放回使用場景,取捨就出來了。SWE-bench 與 Terminal Bench 測的是一次把程式改對、把指令跑完;MultiChallenge 測的是記住前面幾輪的要求;ComplexConstraints 測的是同時滿足多條限制。前兩項高、後兩項低,代表它適合「任務很長但對話很短」的代理流程,不適合當成陪你來回討論的聊天夥伴。

迴圈買到算力,買不到知識

這一點官方講得很直白:重複跑層數不會讓權重記住更多事實。AA-Omniscience 的分數與同尺寸模型相當,多跑幾次迴圈的好處出現在長上下文與多跳推理,封閉式問答沒有明顯變化。

研究變體 TML-d24-varloop-research 可以跑 1 到 5 次迴圈。不寫思維鏈的時間跨度,從 1 次的 16 秒拉到 3 次的 37 秒;跑到 5 次時,思維鏈平均 1,661 詞元,1 次時反而是 3,703 詞元,句子長度與用詞豐富度沒有變。Thinking Machines 也說,沒有看到代理破壞分數隨迴圈次數上升。

在自己的機器上跑 open weights:SGLang、llama.cpp 與 MLX

權重可以直接下載,SGLang 第一天就支援;llama.cpp 提供 IQ4_NL 與 Q8_0 量化,透過 Llama App 就能跑;Mac 上用 MLX,也可以在 Tinker 上做推論與客製。對台灣的開發團隊來說,好處很實際:不必排隊等雲端 GPU,內網的機器就能驗證代理流程,繁體中文的指令也能自己測一輪。

量化版本的差別在精度與速度。IQ4_NL 把權重壓到 4 位元,體積小、跑得快,適合先確認流程通不通;Q8_0 保留 8 位元,輸出穩定一些,代價是記憶體占用回到接近原始權重。要拿去接內部工具的人,先用 IQ4_NL 做功能驗證,再把真正上線的那條流程換成 Q8_0 重跑一次,比較不會在格式錯誤上浪費時間。

飛機模擬器的離線示範

最能說明定位的是一段示範:MacBook Pro(M5 Pro、48GB)開飛航模式,模型在幾分鐘內做出一個可以玩的飛行模擬器。同一台機器還跑了 20 個角色的城鎮模擬。Stanford 的 Hazy Research 與 Scaling Intelligence 則在 NVIDIA DGX Spark 上量到 0.703 intelligence-per-joule(MXFP8、低推理強度),Qwen3.6-35B-A3B 是 0.430,Gemma-4-26B-A4B 是 0.159。

local AI 的兩個觀察點

第一個是架構。若迴圈能在不增加權重的情況下穩定換到推理深度,小模型的路線會分岔:一邊繼續堆參數,一邊開始堆計算次數。第二個是可監控性。Thinking Machines 說,在這個規模下,模型不必寫出思維鏈也能做事,而且沒有明顯失去可監控性;但這套結論建立在自家訓練與自家測試上,換成別人訓練的迴圈模型,還能不能被看懂,是另一個問題。

對企業來說,第二個問題比 benchmark 更難回答。模型不把推理寫出來,等於少了事後追查的線索;若它又在自己的內網跑,連 API 日誌都沒有。要導入的人,得先想清楚願意用多少可觀測性,換多少本地推論的自主性。

想試的人,先從 IQ4_NL 量化版下手,確認內網機器跑得動,再拿自己最常叫代理做的三件事實測。硬體不夠就別硬上,1M 詞元的上下文在 256K 到 512K 的檢索分數只有 46.4%,長文件還是得切。

分享這則新聞

來源

相關 AI 新聞

終端機視窗裡有上升的獎勵曲線,旁邊是一個 27B 標章
AI 模型

DaisyRose-27B 只做強化學習,18 天把代理寫程式成績翻倍

同一個 Qwen3.8-27B,架構、分詞器、聊天模板都沒改,只換訓練方式。RadixArk 拿 1,200 個長流程任務,示範後訓練的預算可以買到什麼。

熱度:1,330
暗色背景上一道長條藍綠色聲波,其中一根橘色強調柱
AI 模型

Rumble-2-Flash 開源:0.5B 參數在客服電話上追平 30B 模型

一支 5 億參數的語音辨識模型,在 302 小時的英文客服電話上,只輸給 300 億參數的對手 0.08 個百分點。Reson8 在 11 月 18 日把這支模型連權重一起放上 Hugging Face。

熱度:560
深藍背景上三道光環繞著一顆發光的小核心
AI 模型

Gemini 4 Neon 上線:模型選單剩四項,Argon 與 3.1 Pro 退場

Google 在 11 月 18 日把 Gemini 4 Neon 推上線,同一時間,Gemini app 的模型清單從六個名字縮成四個。習慣點 Argon 的人,今天打開 app 會發現它不見了。

熱度:1,500
大型模型核心環繞推理輻條,旁邊是較小的快速核心,右側是下降的價格柱
AI 模型

GPT-6.2 Astra 降價兩成:單價降了,每任務成本還是 Sol 的三倍多

OpenAI 把 GPT-6.2 Astra 的 API 價格往下調了兩成,同一天 Sol 的價目表一個字都沒動。降價會不會反映到你的帳單,取決於你買的是詞元,還是完成的工作。

熱度:1,900