DeepSeek 把支撐自家線上服務的推理框架開源了,授權是 Apache 2.0,任何人都能下載。但這份禮物有個明顯缺口:最關鍵的幾個模組沒有放進來。
DeepInfer 是什麼:跑 DeepSeek-V4.1-Flash 的生產引擎
10 月 20 日,DeepSeek 在 GitHub 發布 DeepInfer,儲存庫名 deepseek-ai/DeepInfer,採 Apache 2.0。這是支撐它對外服務的推論框架,不是研究室裡的實驗品。
目前它只支援一個模型:DeepSeek-V4.1-Flash,預設載入週末發布的 1017 版 checkpoint。想拿它跑別的模型,現階段不行。
它跟誰同源,文件裡寫得清楚。DeepInfer 最初主要基於 vLLM 建構,過程中參考了 SGLang 與 TensorRT-LLM。同步釋出的 deepseek-recipe 函式庫,用跟官方 API 相同的邏輯把請求轉成詞元序列。
只認 SM100 與昇騰 950 的硬體清單
支援清單很短。NVIDIA 的 SM100(Blackwell)與華為昇騰 950 NPU,其他一概不談,Hopper 及更老的 N 卡不支援。
這個選擇不難讀。DeepSeek 的生產叢集就是這兩種卡,開源版本自然只為自己跑得動的硬體調校。手上還是 H100 的團隊,這份程式碼看得到用不上。
反過來說,願意買 Blackwell 或昇騰 950 的團隊,可以直接拿到一套在生產環境驗證過的配置。
DSpark 與 SWA:兩個名字很硬但很實際的設計
先講投機解碼。概念不難:讓小模型先猜接下來幾個詞,再叫大模型驗貨,猜得準就省算力,猜不準就白忙。DSpark 讓草稿模型一次提 5 個詞元,再用一個置信度頭預測主模型會接受哪幾個,只驗最可能的候選。每一步要檢查的量大約少 30%,DeepSeek 估算在生產負載下吞吐提升 4% 到 7%。
再看 prefill。SWA 有界重放只把提示末尾約 128 到 140 個詞元重新過一次解碼器,官方說這幾乎把 prefill 的計算砍半。
其他還有非同步排程、batch-invariant 推論(僅 NVIDIA)、確定性取樣(僅 NVIDIA),以及 regex、JSON schema、EBNF 三種結構化輸出。
DeepInfer 沒有開源的那一半
缺的是三塊:KV cache 系統、prefill 與 decode 分離部署、跨副本負載平衡。DeepSeek 的說法是這些與內部基礎設施綁得太緊。知乎部落格講了原理,程式碼沒給。
這三塊正好是大規模服務最難的部分,也是外人最想抄的部分。官方問答提到,最小的高效部署規模是 64 張 GPU 做 prefill、64 張做 decode。換算成採購金額不是小數目,這也是為什麼實際會用 DeepInfer 的,多半是已經在做大規模 serving 的團隊,不是想在自己機器上跑模型的個人。
官方還給了另一個規模數字:單一叢集每天服務 155 兆個詞元,按離峰定價折算,每張 GPU 每小時約 38 美元營收。這些都是 DeepSeek 自報,效能基準也全在 NVIDIA 上跑,prefill 用 4 張 SM100、decode 用 64 張。昇騰 950 跑不跑得出同樣成績,官方沒有給資料。
DeepSeek 為什麼現在才開源?
2025 年 4 月,DeepSeek 拒絕開源完整引擎,理由是與叢集管理工具耦合太深,小研究團隊沒精力維護大型開源專案。那時只陸續放出 FlashMLA、DeepGEMM、DeepEP 這些零件。
今年情況變了。9 月 30 日它與華為合作把 TileLang 帶到昇騰,彭博社 9 月報導它計畫在內蒙古新資料中心部署至少 16 萬顆昇騰 950DT。生態站穩了,開源的邊際成本就下降。
同一天還有另一條消息:美國國土安全部在 10 月 19 日要求聯邦民事機構移除 DeepSeek 產品,包含基於其技術的第三方服務。開源與被封鎖同時發生,這就是現在的局面。
想自架 LLM serving 的團隊該看什麼
如果團隊手上已經有 Blackwell 或昇騰 950,DeepInfer 省下的是調校時間,不是硬體錢。如果卡還是 Hopper,這份釋出沒有實質幫助。
值得追的是那個儲存庫的後續。DeepSeek 說未來模型的推論程式碼也會進同一個地方,那才是判斷它是否認真維護的指標。開源一半的引擎,通常靠後續補上另一半來證明誠意。






