同じモデルの同じベンチマークで、90.6%と74.5%という二つの数字が並ぶ。DeepSeekの新しいFlashは、その差ごと読む必要がある。
DeepSeek V4.1 Flashは何を積んだモデルか
DeepSeek-V4.1-Flash-1017は、重みが公開されている推論モデルだ。文脈長は1,048,576トークン。552Bの本体に196BのEngramパラメータを足した構成で、Engramは最大4トークンのn-gramを引く条件付きメモリだ。表をGPUのメモリに置き続けなくて済む。投機的デコードのDSparkも入る。1017は現行のFlashビルドで、以前のV4 Flashは置き換えられた。
DeepSeek benchmarksの90.6%と74.5%
モデルカードには、Terminal-Bench 2.1で90.6%という数字が載る。コマンドライン操作を測るベンチマークだ。同じモデルをVals AIが測ると74.5%だった。差は大きい。どちらも同じ名前のテストだが、ハーネスと設定が違う。モデルカードの数字を独立した検証として読むことはできない。
Terminal-Bench 2.1の差は何を意味するか
Terminal-Bench 2.1は、端末の中で複数ステップの作業を完遂できるかを見る。モデルカードの他の数字も同じ前提で読む必要がある。Terminal-Bench 4.0は42.30%、DeepSWEは77.0%だ。GPQA-Diamondは90.9%で、HLEは42.6%。どれも自己申告で、外部の追試があるわけではない。ベンチマークは設定に敏感で、同じモデルでも足場が変われば点数は動く。
DeepSeek local inferenceは128GBのメモリから
Unslothの手順では、ローカルで動かすには128GB以上のメモリが要る。64GBならSSDへ追い出しながら動くが、遅い。量子化ファイルはUD-Q8_K_XLで508.4GB、UD-Q4_K_XLで500.7GB。ノートPCや単体のコンシューマーGPUには収まらない。日本の開発チームなら、ワークステーションかサーバーを1台確保する話になる。考える処理は既定で有効で、reasoning_effortは100段階の75だ。長い生成には256K以上の出力トークンを見込み、料金は額ではなく課金の単位で見る。
DeepSeek pricingは額ではなく構造で見る
APIの請求は入出力のトークン量で決まり、モデル名のdeepseek-flashが現行ビルドを指す。deepseek-v4-flashなどの旧名も受け付けるが請求はFlashの料金になり、ローカルで動かす場合はAPI料金の代わりにメモリと電気代がかかる。円建ての請求額は為替で動くので、比べるときは同じ日のレートで揃えたい。
BenchLMの65.41と31位をどう読むか
BenchLMは総合65.41点、1,016モデル中31位としている。ただし評価したのは759のベンチマークのうち53だけで、BenchLM自身が総合点は保守的になると注記している。順位だけを見て上位と読むのは早く、Artificial AnalysisのIntelligence Indexは39.5%で、Omniscienceの幻覚率は96.5%だった。
DeepSeek V4.1 Flashを自分の仕事で測る
ベンチマークの差は、ハーネスと設定で動く。モデルの世代差より、足場の違いの方が大きいこともある。日本語のコード修正や社内のスクリプトを10個ほど用意し、同じ手順で2つのモデルを走らせる。DeepSeek benchmarksの数字は参考にして、自分の作業で再現できるかを見る。では、何を基準に乗り換えるか？ 手元の課題で差が出たかどうかだ。
