Modèles

DeepSeek ouvre le moteur d'inférence de ses modèles, mais pas entièrement

DeepSeek a publié le 20 octobre le moteur d'inférence qui fait tourner ses propres services, sous licence Apache 2.0. Le dépôt s'appelle DeepInfer. Il ne couvre qu'un seul modèle et laisse de côté les briques les plus liées à l'infrastructure interne de l'entreprise.

Julien MartinJulien Martin
Popularité : 1,420
DeepSeek ouvre le moteur d'inférence de ses modèles, mais pas entièrement

DeepSeek a publié le 20 octobre le moteur d'inférence qui fait tourner ses propres services, sous licence Apache 2.0. Le dépôt s'appelle DeepInfer. Il ne couvre qu'un seul modèle et laisse de côté les briques les plus liées à l'infrastructure interne de l'entreprise.

DeepInfer, le moteur qui sert DeepSeek en production

Un moteur d'inférence, c'est le logiciel qui prend un modèle entraîné et le fait répondre. Il gère la mémoire, découpe les requêtes, répartit le calcul sur les cartes et décide comment produire les jetons un par un. C'est la partie invisible qui détermine le coût réel d'un service.

DeepSeek publie donc le sien sur GitHub, dans le dépôt deepseek-ai/DeepInfer, avec une licence Apache 2.0. La portée est plus étroite qu'il n'y paraît. Le moteur ne prend en charge qu'un modèle, DeepSeek-V4.1-Flash, et charge par défaut le checkpoint 1017 publié le week-end précédent.

Un seul modèle, donc, pour une base de code présentée comme celle qui sert la production. DeepSeek ajoute que le code d'inférence des futurs modèles ira dans le même dépôt.

Ce que DeepInfer embarque vraiment

L'inventaire technique est dense. Il se lit comme une liste de réponses aux goulots d'étranglement d'un service de LLM.

Brique

Rôle

Noyaux optimisés

FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, noyaux TileLang

Parallélisme

Attention DP, CP équilibré, MoE EP avec EPLB

Décodage spéculatif

DSpark, avec un modèle brouillon et une tête de confiance

Reprise de fenêtre

Rejoue la fin du prompt au lieu de tout recalculer

Ordonnancement

Planification asynchrone des requêtes

Sorties structurées

Regex, schéma JSON, grammaire EBNF

Deux fonctions sont réservées aux cartes NVIDIA: l'inférence invariante au lot et l'échantillonnage déterministe, sans équivalent annoncé ailleurs. Autrement dit, la reproductibilité exacte d'une réponse n'est garantie que sur un seul type de matériel.

Le décodage spéculatif DSpark, expliqué sans jargon

La génération d'un texte par un grand modèle est lente parce qu'elle avance jeton par jeton, et le décodage spéculatif contourne cette limite en faisant deviner la suite par un modèle plus petit avant de vérifier les propositions avec le grand modèle.

DSpark pousse l'idée un cran plus loin. Le modèle brouillon propose cinq jetons d'un coup. Une tête de confiance, entraînée pour l'occasion, prédit lesquels le modèle principal acceptera. Seuls les candidats les plus probables passent en vérification, ce qui réduit d'environ 30 % la quantité de contrôles par étape.

DeepSeek estime le gain à 4 % à 7 % de débit sur une charge de production, un gain modeste qui ne justifie pas de parler de multiplication mais qui pèse sur un service servant des centaines de milliards de jetons. Ce n'est pas spectaculaire, et l'entreprise ne parle pas de multiplication.

La reprise de fenêtre de DeepInfer allège le prefill

Avant de générer, un modèle doit lire tout le contexte fourni. Cette phase, le prefill, coûte cher en calcul et domine le temps de réponse sur les longues entrées.

DeepInfer applique une méthode de fenêtre glissante avec reprise bornée. Le moteur ne rejoue que les 128 à 140 derniers jetons du prompt dans le décodeur, au lieu de reprendre l'ensemble. DeepSeek affirme que le calcul de prefill est presque divisé par deux.

Presque. Le mot compte: la promesse n'est accompagnée d'aucun chiffre, et rien ne permet de la vérifier.

Ce que DeepSeek garde pour lui

Le dépôt n'est pas complet, et DeepSeek le dit sans détour. Trois briques restent fermées: le système de cache KV, la séparation des déploiements de prefill et de décodage, et l'équilibrage de charge entre réplicas.

L'entreprise justifie ce choix par un couplage fort avec son infrastructure interne. Elle en explique le principe dans un billet publié sur Zhihu, sans fournir de code.

Les chiffres de déploiement donnent la mesure de ce qui manque. DeepSeek décrit un cluster servant 155 000 milliards de jetons par jour, et un revenu d'environ 38 dollars par GPU et par heure au tarif creux. Pour un déploiement qualifié d'efficace, l'entreprise cite 64 GPU pour le prefill et 64 pour le décodage.

Avec deux cartes, personne ne reproduira cela. Une équipe qui veut faire tourner DeepSeek-V4.1-Flash à cette échelle devra réinventer la partie absente, ou passer par un fournisseur.

À quoi bon ouvrir un moteur à moitié? La réponse tient dans les trois briques que le dépôt laisse de côté.

NVIDIA Blackwell et Huawei Ascend 950, pas Hopper

Le matériel pris en charge est récent et restreint. DeepInfer fonctionne sur les GPU NVIDIA SM100, la génération Blackwell, et sur les NPU Huawei Ascend 950. Les cartes Hopper et tout ce qui précède ne sont pas prises en charge.

Le choix exclut une large partie du parc installé, y compris des machines achetées il y a deux ans. DeepSeek assume: le moteur est écrit pour son matériel, pas pour le plus grand nombre.

C'est dit sans détour.

Les benchmarks publiés ont tous été réalisés sur NVIDIA, avec quatre SM100 pour le prefill et 64 pour le décodage. Chiffres maison, sans validation indépendante. Rien n'indique que les performances soient identiques sur Ascend, et l'entreprise ne le prétend pas.

Un moteur d'inférence ouvert à moitié, publié dans un climat tendu

Le contexte éclaire la décision. En avril 2025, DeepSeek avait refusé d'ouvrir son moteur complet, invoquant un couplage trop fort avec ses outils de gestion de cluster et le manque d'énergie d'une petite équipe de recherche pour maintenir un gros projet open source. L'entreprise avait publié des composants isolés, FlashMLA, DeepGEMM, DeepEP.

La lignée est assumée: DeepInfer s'appuie principalement sur vLLM, avec des emprunts à SGLang et à TensorRT-LLM. Le dépôt livre aussi deepseek-recipe, une bibliothèque qui convertit les requêtes en séquences de jetons avec la même logique que l'API officielle.

Le calendrier politique n'a rien d'anodin. Le 30 septembre, DeepSeek et Huawei annonçaient le portage de TileLang sur Ascend. Bloomberg rapportait en septembre un projet de centre de données en Mongolie intérieure avec au moins 160 000 puces Ascend 950DT. Et le 19 octobre, le département de la sécurité intérieure américain ordonnait aux agences fédérales civiles de retirer les produits DeepSeek, y compris les services tiers qui s'appuient sur sa technologie.

Dans ce contexte, ouvrir le moteur revient à documenter une partie de son avance technique tout en gardant les briques qui font la différence en exploitation. Pour un développeur, DeepInfer reste utile: les noyaux, le décodage spéculatif et la reprise de fenêtre sont lisibles et réutilisables. Pour une entreprise qui veut servir ce modèle à grande échelle, la moitié manquante pèsera plus lourd que la moitié publiée.

Partager cet article

Sources

Actualités liées à l’IA

Une fenêtre de terminal avec une courbe de récompense ascendante et un badge 27B à côté
Modèles

RadixArk double le score Terminal-Bench 4.1 de Qwen3.8-27B

RadixArk publie DaisyRose-27B, un Qwen3.8-27B réentraîné par renforcement sur des tâches d'agents longues. Le gain est net, le score absolu reste bas, et l'argument réel porte sur le coût par point gagné.

Popularité : 1,330
Le contour d'un ordinateur portable avec trois feuilles de couches empilées qui traversent une flèche en boucle
Modèles

Inkling 2 Mini : 24 couches qui en valent 48 sur un portable

Thinking Machines Lab repasse trois fois par les mêmes couches pour faire raisonner un modèle de 27 milliards de paramètres. Le résultat tient sur un portable, à condition d'accepter ce qu'une boucle ne sait pas faire.

Popularité : 1,710
Une longue forme d'onde audio bleu-vert avec une seule barre orange sur fond sombre
Modèles

Rumble-2-Flash : 500 millions de paramètres qui tiennent tête à un modèle géant

Reson8 publie un modèle de reconnaissance vocale de 500 millions de paramètres qui arrive à un dixième de point d'un modèle soixante fois plus gros sur de vrais appels téléphoniques. Reste à savoir ce que vous abandonnez en échange.

Popularité : 560
Trois anneaux néon en orbite autour d'un petit noyau lumineux sur fond bleu profond
Modèles

Gemini 4 Neon arrive dans l'application, et le sélecteur perd deux noms

Google remplace Gemini 4 Argon par un modèle qu'il présente comme proche de Gemini 4 Carbon, pour un coût par tâche plus bas. Voici ce que cela change dans l'application, et ce que les chiffres de Google couvrent vraiment.

Popularité : 1,500