AI 模型

南北閣開源 Nanbeige4.3-33B:先養出老師模型,再蒸餾小模型

一個 33B 的稠密模型、512K 上下文、Apache 2.0 授權。南北閣把它定位成老師,真正的目標是後面那顆 3B 小模型。

陳柏宇陳柏宇
熱度:1,120
南北閣開源 Nanbeige4.3-33B:先養出老師模型,再蒸餾小模型

一個 33B 的稠密模型、512K 上下文、Apache 2.0 授權。南北閣把它定位成老師,真正的目標是後面那顆 3B 小模型。

Nanbeige4.3-33B 是誰放出來的

Nanbeige LLM Lab 在 Hugging Face 上發布 Nanbeige4.3-33B,授權是 Apache 2.0。這個實驗室掛在求職平台 BOSS 直聘底下,先前在開源社群不算高調。

一起釋出的還有 Nanbeige4.3-33B-Base,給需要自己後訓練的人用。兩個版本同一天上架,模型卡把架構、訓練配方與建議參數都寫了出來。

模型卡裡有一句話很關鍵:這個 33B 是系列裡的教師模型,先把它練強,再蒸餾成即將發布的 Nanbeige4.3-3B。換句話說,33B 的任務不只是給人用,也要負責教出小模型。

求職平台養模型,外界第一個問題通常是資料。模型卡沒有交代訓練語料的組成,只寫了架構與後訓練配方。這在開源模型裡不算罕見,但對想放進企業內部的人,資料來源終究是個要自己評估的風險。

Nanbeige4.3-33B 的稠密架構跟 MoE 差在哪

稠密的意思是每個 token 都會跑過全部參數。現在主流的大模型多半用 MoE,靠路由把 token 分給少數專家,藉此在推論時省算力。稠密模型沒有這層調度,算力紮紮實實花在 33B 上。

這麼做有好處。行為比較可預測,部署也簡單,不必處理專家負載不均、批次內路由分歧這些問題。對做智慧代理的人,穩定比極致效率重要,因為多步驟任務只要中間一步歪掉,整個流程就得重跑。

代價是單位成本。同樣的推論預算,MoE 通常能換到更多有效參數。33B 稠密模型要跟 27B 到 31B 的對手比,靠的是訓練品質而不是架構偷懶。

對自己架模型的人,稠密還有一個實務上的好處:批次大小與延遲的關係比較線性,容量規劃容易抓。MoE 在低負載時很省,忙起來的尖峰反而難預測。

512K 上下文與 66 GB 權重意味著什麼

Nanbeige4.3-33B 的上下文長度是 524,288 個 token,也就是 512K。BF16 權重約 66 GB,架構是標準的 LlamaForCausalLM:52 層、hidden 維度 7,168、56 個查詢頭配 8 個 KV 頭的 GQA、詞表 166,912、RoPE theta 1.2e8。

512K 聽起來很猛,實際要配記憶體算。長上下文的 KV cache 大約每個 token 佔 208 KiB,塞滿 512K 就是 112 GB 左右。加上 66 GB 權重,這不是單張消費級顯示卡能舒服跑的量級。

社群的 Q8 量化 GGUF 約 35.2 GB,配 32K 上下文的 KV cache,可以在 48 GB 的單張卡上跑起來。想要完整 512K,就得回到多卡或高記憶體機器。

Nanbeige4.3-33B 的廠商自報成績:20 項裡贏 17 項

模型卡列了 20 項基準測試,對手是 Qwen3.8-27B、Meta 的 Muse-Glimmer-30B 與 Gemma4-31B,全部開到最高思考強度。南北閣說自己贏了其中 17 項。

幾個代表數字:測命令列操作的 Terminal-Bench 2.1 拿到 80.9,對手是 73.0;DeepSWE 65.5 對 42.5,差距最大;Automation Bench 54.2 對 38.3;JobBench 44.8 對 34.5。AIME 2026 是 95.2,AA-LCR 是 84.0。

這幾項測試的方向不太一樣。Terminal-Bench 考的是在終端機裡完成任務,DeepSWE 看的是修真實專案裡的多檔問題,Automation Bench 與 JobBench 模擬辦公室流程。全部偏向「動手做完」,而不是「回答得漂亮」,這跟它的智慧代理定位一致。

這些都是廠商自報,沒有第三方評測,也沒有獨立復現。基準測試的分數對測試框架、提示詞與評分腳本很敏感,換一套跑法結果就會動。

Nanbeige4.3-33B 落後的項目與對不上的兩行數字

模型卡沒有只挑好看的寫。SWE-Bench Pro 是 60.3,輸給 Qwen3.8-27B 的 61.7;GDPval 84.8 也落後對手的 86.4;Terminal-Bench 4.0 只拿到 23.8,是自家表格裡最低的一項。

更麻煩的是對照表本身有矛盾。Muse-Glimmer-30B 與 Gemma4-31B 在 SWE-Bench Pro 上的分數看起來寫反了,Meta 官方公布的是 51.2 與 36.9。GPQA Diamond 那欄給 Gemma4-31B 寫 91.3,Google 官方是 84.3。

不同的測試框架能解釋一部分落差,但 SWE-Bench Pro 那兩行不太像框架問題,比較像表格填錯。在看這份成績單時,把 17 比 3 當成方向,不要當成定論。

Nanbeige4.3-33B 怎麼部署

模型卡給了 Transformers、SGLang 與 vLLM 三種配方,範例用 4 路張量並行。跑代理任務建議 temperature 1.0、top_p 0.95、每次最多生成 65,536 個新 token;一般推理與聊天用 temperature 0.6、上下文開到 262,144。

4 路張量並行的意思,是把 66 GB 權重攤到四張卡上,每張約 16.5 GB,再加上自己的 KV cache。這個配置對企業機房不算過分,對個人工作站就是一筆開銷。

這些數值偏寬,代表模型在長流程任務上留了發揮空間,也代表它比較容易發散。實際接進產品前,建議先固定一組參數跑幾輪,確認行為穩定再放寬。

發布當下,Hugging Face 上沒有推論服務商託管這個模型。想用就得自己架,或是等社群把量化版本與推論服務配置補齊。

3B 版本才是這個系列的下一站

把 33B 當老師、蒸餾出 3B,這個路線在開源圈不新,執行得好卻不多。好處是推論成本可以壓到手機或筆電等級,同時保住大模型在多步驟任務上的判斷力。

真正的考驗在蒸餾後的落差。教師模型的 80.9 分,學生能留下多少,目前沒有數字。3B 版本一旦發布,社群第一件事一定是拿同一組基準重跑。

蒸餾也不是照抄答案。學生模型要學的是解題的步驟順序,資料品質比數量重要。這條路線能不能成立,三個月內大概就會有答案。

在那之前,Nanbeige4.3-33B 的意義有兩層:它是目前少見的 Apache 2.0 稠密 33B,也是觀察蒸餾技術的一個樣本。想自己跑的人,先確認手上的記憶體夠不夠,再決定要不要下載 66 GB 的權重。

分享這則新聞

來源

相關 AI 新聞

Gemini 4 Carbon 先給資安團隊:Google 最強模型這次不開放給所有人
AI 模型

Gemini 4 Carbon 先給資安團隊:Google 最強模型這次不開放給所有人

Google DeepMind 端出新一代旗艦 Gemini 4 Carbon,主打資安防禦與長時間任務。它在多項基準拿下第一,首波卻只發給一群精選的資安防守方。

熱度:1,750
Liquid AI 開源 LFM3:六款 2B 級模型,專為端側而生
AI 模型

Liquid AI 開源 LFM3:六款 2B 級模型,專為端側而生

Liquid AI 發表新一代 LFM3,一次推出六款約 2B 參數的開源模型,全部天生多模態。它的目標不是最大的通用模型,而是能塞進裝置、針對場景調校的小模型。

熱度:1,500
Genie 4 登場:會邊跑邊改、自己生成聲音的世界模型
AI 模型

Genie 4 登場:會邊跑邊改、自己生成聲音的世界模型

Google DeepMind 端出第四代世界模型 Genie 4。它能在運行途中聽你一句話就改天氣、改鏡頭,也是第一個自己生成聲音的同類模型。

熱度:1,700
GPT-6.1 Terra 不是旗艦,是 OpenAI 拿來壓低 API 價格的那一款
AI 模型

GPT-6.1 Terra 不是旗艦,是 OpenAI 拿來壓低 API 價格的那一款

OpenAI 在 10 月 26 日推出 GPT-6.1 Terra,標準 API 價格只有前一代 Terra 與 GPT-6.1 Sol 的一半。官方強調視覺推理與電腦操作能力,第三方評測則提醒:便宜是真的,全面最強不是。

熱度:1,780