AIモデル

DeepSeekが自社の推論エンジンDeepInferを公開、ただし全部ではない

DeepSeekが10月20日、自社の本番サービスを支えてきた推論エンジンDeepInferをApache 2.0で公開した。ただし全部ではない。KVキャッシュやプリフィルとデコードの分離など、内部インフラと密結合した部分のコードは出ていない。

佐藤健太佐藤健太
人気度:1,420
DeepSeekが自社の推論エンジンDeepInferを公開、ただし全部ではない

DeepSeekが10月20日、本番サービスを支える推論エンジンDeepInferをApache 2.0で公開した。ただし全部ではない。KVキャッシュやプリフィルとデコードの分離など、内部基盤と密結合した部分は出ていない。

DeepInferは何を公開したのか

リポジトリはdeepseek-ai/DeepInfer。動かせるモデルはDeepSeek-V4.1-Flashだけで、週末に出た1017版を既定で読み込む。対応ハードはNVIDIAのSM100(Blackwell)とファーウェイのAscend 950 NPU。Hopper以前のNVIDIA GPUは対象外だ。

DSparkとSWA、速度を稼ぐ仕組み

目玉は投機的デコードのDSpark。ドラフトモデルが一度に5トークンを出し、信頼度ヘッドが本体モデルの受け入れを予測する。検証するのは通りそうな候補だけ。1ステップあたりの確認量が約3割減り、本番負荷でスループットが4%から7%上がるとDeepSeekは見積もる。

SWAの有界リプレイも効く。プロンプト末尾の128から140トークンだけをデコーダに通し直し、プリフィルの計算がほぼ半分になると説明する。

ほかに非同期スケジューリング、NVIDIA限定のbatch-invariant推論と決定性サンプリング、正規表現やJSONスキーマに対応する構造化出力を備える。カーネルはFlashMLAやDeepGEMM、DeepEPを積む。

64枚と64枚、現実的な最小構成

最小構成はプリフィル64枚、デコード64枚のGPUだ。1クラスタで1日155兆トークンを処理し、オフピーク料金で換算すると1GPUあたり毎時38ドルになるという。

数字はすべて自己申告である。ベンチマークはNVIDIA上で、プリフィル4枚、デコード64枚のSM100という条件だった。Ascendで同じ性能が出る証拠は示されていない。

オープンソースにならなかった部分

KVキャッシュの仕組み、プリフィルとデコードの分離配置、レプリカ間の負荷分散。この3つは非公開だ。公式の説明は、内部基盤との結合が強いというもの。考え方はブログで語られているが、コードは付いていない。

64枚と64枚という最小構成も、個人や小規模チームには遠い。公開されたのは部品と知見であり、そのまま動くサービスではない。

なぜ今、公開に踏み切ったのか

2025年4月、DeepSeekはクラスタ管理ツールとの結びつきを理由に、エンジン全体の公開を見送った。代わりにFlashMLAやDeepGEMM、DeepEPを小出しにしてきた。今回、その方針が変わったことになる。

背景にはハードがある。9月30日にはファーウェイと組み、TileLangをAscendへ移植した。ブルームバーグは9月、内モンゴルの新データセンターにAscend 950DTを少なくとも16万個置く計画を報じている。

同じ19日、米国土安全保障省は連邦の民間機関にDeepSeek製品の撤去を求めた。技術の公開と規制が同じ週に重なった。次に問われるのは、このエンジンが外でどこまで速く動くかだ。

このニュースを共有

出典

関連AIニュース

上昇する報酬曲線と27Bのバッジが並ぶ端末画面
AIモデル

DaisyRose-27B、強化学習だけでTerminal-Bench 4.1を5.6%から12.0%に

RadixArkは、Qwen3.8-27Bを土台に強化学習だけで鍛えたDaisyRose-27Bを公開した。Terminal-Bench 4.1のpass@1は5.6%から12.0%へ倍増した。18日間、1,200タスク、H200 144枚という規模の話である。

人気度:1,330
ノートPCの輪郭の内側で、3枚の層がループ矢印を通る図
AIモデル

Inkling 2 Miniは同じ層を3回通す、ノートPCで動く27B級モデル

Thinking Machines Labは11月20日、open weightsのInkling 2 Miniを公開した。24層の中間12層を1トークンにつき3回通すlooped transformerで、ノートPCに載る重さのまま48層分の計算を回す。

人気度:1,710
暗い背景に長く伸びるティール色の波形と、1本のオレンジのアクセントバー
AIモデル

0.5BのRumble-2-Flashが30Bの音声認識と並んだ

0.5Bのモデルが、30Bのモデルとほぼ同じ誤り率で電話音声を文字にする。Reson8が公開したRumble-2-Flashは、文字起こしの費用構造を変える側のニュースだ。

人気度:560
深い青の背景で、小さく光る核を囲む3つのネオンの輪
AIモデル

Gemini 4 Neonが有料プランに入った、選択肢は4つに

Googleは11月18日、Gemini 4 Neonを発表した。有料の加入者が最初に気にするのは、選択肢から二つの名前が消えたことと、新しいミドルクラスがいくらで動くかである。

人気度:1,500