DeepSeekが10月20日、本番サービスを支える推論エンジンDeepInferをApache 2.0で公開した。ただし全部ではない。KVキャッシュやプリフィルとデコードの分離など、内部基盤と密結合した部分は出ていない。
DeepInferは何を公開したのか
リポジトリはdeepseek-ai/DeepInfer。動かせるモデルはDeepSeek-V4.1-Flashだけで、週末に出た1017版を既定で読み込む。対応ハードはNVIDIAのSM100(Blackwell)とファーウェイのAscend 950 NPU。Hopper以前のNVIDIA GPUは対象外だ。
DSparkとSWA、速度を稼ぐ仕組み
目玉は投機的デコードのDSpark。ドラフトモデルが一度に5トークンを出し、信頼度ヘッドが本体モデルの受け入れを予測する。検証するのは通りそうな候補だけ。1ステップあたりの確認量が約3割減り、本番負荷でスループットが4%から7%上がるとDeepSeekは見積もる。
SWAの有界リプレイも効く。プロンプト末尾の128から140トークンだけをデコーダに通し直し、プリフィルの計算がほぼ半分になると説明する。
ほかに非同期スケジューリング、NVIDIA限定のbatch-invariant推論と決定性サンプリング、正規表現やJSONスキーマに対応する構造化出力を備える。カーネルはFlashMLAやDeepGEMM、DeepEPを積む。
64枚と64枚、現実的な最小構成
最小構成はプリフィル64枚、デコード64枚のGPUだ。1クラスタで1日155兆トークンを処理し、オフピーク料金で換算すると1GPUあたり毎時38ドルになるという。
数字はすべて自己申告である。ベンチマークはNVIDIA上で、プリフィル4枚、デコード64枚のSM100という条件だった。Ascendで同じ性能が出る証拠は示されていない。
オープンソースにならなかった部分
KVキャッシュの仕組み、プリフィルとデコードの分離配置、レプリカ間の負荷分散。この3つは非公開だ。公式の説明は、内部基盤との結合が強いというもの。考え方はブログで語られているが、コードは付いていない。
64枚と64枚という最小構成も、個人や小規模チームには遠い。公開されたのは部品と知見であり、そのまま動くサービスではない。
なぜ今、公開に踏み切ったのか
2025年4月、DeepSeekはクラスタ管理ツールとの結びつきを理由に、エンジン全体の公開を見送った。代わりにFlashMLAやDeepGEMM、DeepEPを小出しにしてきた。今回、その方針が変わったことになる。
背景にはハードがある。9月30日にはファーウェイと組み、TileLangをAscendへ移植した。ブルームバーグは9月、内モンゴルの新データセンターにAscend 950DTを少なくとも16万個置く計画を報じている。
同じ19日、米国土安全保障省は連邦の民間機関にDeepSeek製品の撤去を求めた。技術の公開と規制が同じ週に重なった。次に問われるのは、このエンジンが外でどこまで速く動くかだ。






