AI 模型

DeepSeek 開源了自家推理引擎 DeepInfer,但只開了一半

DeepSeek 把支撐線上服務的推理框架 DeepInfer 以 Apache 2.0 開源,只支援 DeepSeek-V4.1-Flash 與兩種新硬體。KV cache、PD 分離與跨副本負載平衡仍留在門內。

陳柏宇陳柏宇
熱度:1,420
DeepSeek 開源了自家推理引擎 DeepInfer,但只開了一半

DeepSeek 把支撐自家線上服務的推理框架開源了,授權是 Apache 2.0,任何人都能下載。但這份禮物有個明顯缺口:最關鍵的幾個模組沒有放進來。

DeepInfer 是什麼:跑 DeepSeek-V4.1-Flash 的生產引擎

10 月 20 日,DeepSeek 在 GitHub 發布 DeepInfer,儲存庫名 deepseek-ai/DeepInfer,採 Apache 2.0。這是支撐它對外服務的推論框架,不是研究室裡的實驗品。

目前它只支援一個模型:DeepSeek-V4.1-Flash,預設載入週末發布的 1017 版 checkpoint。想拿它跑別的模型,現階段不行。

它跟誰同源,文件裡寫得清楚。DeepInfer 最初主要基於 vLLM 建構,過程中參考了 SGLang 與 TensorRT-LLM。同步釋出的 deepseek-recipe 函式庫,用跟官方 API 相同的邏輯把請求轉成詞元序列。

只認 SM100 與昇騰 950 的硬體清單

支援清單很短。NVIDIA 的 SM100(Blackwell)與華為昇騰 950 NPU,其他一概不談,Hopper 及更老的 N 卡不支援。

這個選擇不難讀。DeepSeek 的生產叢集就是這兩種卡,開源版本自然只為自己跑得動的硬體調校。手上還是 H100 的團隊,這份程式碼看得到用不上。

反過來說,願意買 Blackwell 或昇騰 950 的團隊,可以直接拿到一套在生產環境驗證過的配置。

DSpark 與 SWA:兩個名字很硬但很實際的設計

先講投機解碼。概念不難:讓小模型先猜接下來幾個詞,再叫大模型驗貨,猜得準就省算力,猜不準就白忙。DSpark 讓草稿模型一次提 5 個詞元,再用一個置信度頭預測主模型會接受哪幾個,只驗最可能的候選。每一步要檢查的量大約少 30%,DeepSeek 估算在生產負載下吞吐提升 4% 到 7%。

再看 prefill。SWA 有界重放只把提示末尾約 128 到 140 個詞元重新過一次解碼器,官方說這幾乎把 prefill 的計算砍半。

其他還有非同步排程、batch-invariant 推論(僅 NVIDIA)、確定性取樣(僅 NVIDIA),以及 regex、JSON schema、EBNF 三種結構化輸出。

DeepInfer 沒有開源的那一半

缺的是三塊:KV cache 系統、prefill 與 decode 分離部署、跨副本負載平衡。DeepSeek 的說法是這些與內部基礎設施綁得太緊。知乎部落格講了原理,程式碼沒給。

這三塊正好是大規模服務最難的部分,也是外人最想抄的部分。官方問答提到,最小的高效部署規模是 64 張 GPU 做 prefill、64 張做 decode。換算成採購金額不是小數目,這也是為什麼實際會用 DeepInfer 的,多半是已經在做大規模 serving 的團隊,不是想在自己機器上跑模型的個人。

官方還給了另一個規模數字:單一叢集每天服務 155 兆個詞元,按離峰定價折算,每張 GPU 每小時約 38 美元營收。這些都是 DeepSeek 自報,效能基準也全在 NVIDIA 上跑,prefill 用 4 張 SM100、decode 用 64 張。昇騰 950 跑不跑得出同樣成績,官方沒有給資料。

DeepSeek 為什麼現在才開源?

2025 年 4 月,DeepSeek 拒絕開源完整引擎,理由是與叢集管理工具耦合太深,小研究團隊沒精力維護大型開源專案。那時只陸續放出 FlashMLA、DeepGEMM、DeepEP 這些零件。

今年情況變了。9 月 30 日它與華為合作把 TileLang 帶到昇騰,彭博社 9 月報導它計畫在內蒙古新資料中心部署至少 16 萬顆昇騰 950DT。生態站穩了,開源的邊際成本就下降。

同一天還有另一條消息:美國國土安全部在 10 月 19 日要求聯邦民事機構移除 DeepSeek 產品,包含基於其技術的第三方服務。開源與被封鎖同時發生,這就是現在的局面。

想自架 LLM serving 的團隊該看什麼

如果團隊手上已經有 Blackwell 或昇騰 950,DeepInfer 省下的是調校時間,不是硬體錢。如果卡還是 Hopper,這份釋出沒有實質幫助。

值得追的是那個儲存庫的後續。DeepSeek 說未來模型的推論程式碼也會進同一個地方,那才是判斷它是否認真維護的指標。開源一半的引擎,通常靠後續補上另一半來證明誠意。

分享這則新聞

來源

相關 AI 新聞

終端機視窗裡有上升的獎勵曲線,旁邊是一個 27B 標章
AI 模型

DaisyRose-27B 只做強化學習,18 天把代理寫程式成績翻倍

同一個 Qwen3.8-27B,架構、分詞器、聊天模板都沒改,只換訓練方式。RadixArk 拿 1,200 個長流程任務,示範後訓練的預算可以買到什麼。

熱度:1,330
筆電輪廓裡有三張堆疊的層板,穿過一個迴圈箭頭
AI 模型

Inkling 2 Mini 把中間 12 層跑三次,26B 模型離線塞進筆電

24 層的模型,跑出 48 層的計算深度。Thinking Machines Lab 把這個迴圈架構做成 open weights,讓代理任務有機會在筆電上離線完成。

熱度:1,710
暗色背景上一道長條藍綠色聲波,其中一根橘色強調柱
AI 模型

Rumble-2-Flash 開源:0.5B 參數在客服電話上追平 30B 模型

一支 5 億參數的語音辨識模型,在 302 小時的英文客服電話上,只輸給 300 億參數的對手 0.08 個百分點。Reson8 在 11 月 18 日把這支模型連權重一起放上 Hugging Face。

熱度:560
深藍背景上三道光環繞著一顆發光的小核心
AI 模型

Gemini 4 Neon 上線:模型選單剩四項,Argon 與 3.1 Pro 退場

Google 在 11 月 18 日把 Gemini 4 Neon 推上線,同一時間,Gemini app 的模型清單從六個名字縮成四個。習慣點 Argon 的人,今天打開 app 會發現它不見了。

熱度:1,500