Le build 1017 d'un modèle ouvert de DeepSeek sort des scores d'agent terminal qui ressemblent à ceux des grosses gammes. Les mêmes chiffres viennent avec une réserve de méthode, et une mesure indépendante nettement plus basse.
Ce qu'est DeepSeek V4.1 Flash, en clair
C'est un modèle de raisonnement à poids ouverts, avec une fenêtre de contexte d'un million de tokens environ, très exactement 1 048 576. Le build 1017 est la version Flash courante, et les builds précédents de la série V4 Flash sont remplacés.
L'architecture combine deux blocs. Un socle de 552 milliards de paramètres, et un ensemble Engram de 196 milliards de paramètres.
Engram mérite une explication, parce que c'est le nom qui revient partout. La mémoire conditionnelle d'Engram repose sur des tables de n-grammes, jusqu'à quatre tokens, consultées à la demande. L'intérêt est mécanique : la table n'a pas besoin de rester en mémoire GPU, ce qui réduit la pression sur une carte graphique sans retirer la capacité du modèle.
Le modèle utilise aussi DSpark, un décodage spéculatif. En clair, une petite tête propose plusieurs tokens d'avance, et le modèle principal valide ou rejette.
Les DeepSeek benchmarks du model card
Les chiffres publiés par le model card donnent le portrait d'un modèle très à l'aise sur les tâches d'agent et de code.
Épreuve | Score annoncé |
|---|---|
Terminal-Bench 2.1 | 90,6 % |
Terminal-Bench 4.0 | 42,30 % |
DeepSWE | 77,0 % |
NL2Repo | 68,2 % |
AutomationBench | 60,5 % |
GPQA-Diamond | 90,9 % |
CyberGym | 88,1 % |
HLE | 42,6 % |
Agents' Last Exam | 35,4 % |
FrontierMath v2, tier 4 | 26,8 % |
Deux lignes attirent l'œil. Terminal-Bench mesure des tâches en ligne de commande, du genre installer une dépendance cassée ou réparer un script. DeepSWE mesure la résolution de problèmes logiciels.
Le score Codeforces, 3 471, est un classement de compétition, pas un pourcentage, et le comparer aux modèles fermés demande de vérifier la date de mesure.
Terminal-Bench 2.1 : 90,6 % ici, 74,5 % là
C'est l'écart qui compte dans ce dossier. Le model card annonce 90,6 % sur Terminal-Bench 2.1.
Le tableau de bord de Vals AI, lui, mesure 74,5 % pour le même modèle sur la même épreuve. Seize points séparent les deux chiffres, ce qui n'est pas une variation d'arrondi.
Plusieurs explications sont possibles, et aucune n'est confirmée. Le harnais de test, le nombre de tentatives autorisées, la version du modèle servi et les réglages de raisonnement changent le résultat. Un score de model card n'est pas une mesure indépendante, par construction.
Il faut donc lire le 90,6 % comme une déclaration de l'éditeur. Le 74,5 % de Vals AI reste, lui, une mesure tierce, avec ses propres choix de protocole.
BenchLM et Artificial Analysis, deux lectures différentes
BenchLM attribue à DeepSeek V4.1 Flash une note globale de 65,41 sur 100, pour un rang de 31e sur 1 016 modèles.
Cette note vient avec un avertissement que l'agrégateur publie lui-même : seules 53 des 759 épreuves de sa base sont couvertes. BenchLM qualifie donc son score global de conservateur.
Artificial Analysis mesure autre chose. Son Intelligence Index atteint 39,5 %, et son indice Omniscience pointe un taux d'hallucination de 96,5 %, pour un Omniscience Index de -5,3 %.
Un taux d'hallucination de 96,5 %, cela veut dire que le modèle invente une réponse dans presque tous les cas où on lui demande un fait précis. Ce n'est pas une condamnation du modèle sur le code, où la vérification est mécanique. C'est un avertissement sur les usages documentaires.
DeepSeek pricing : la place dans la grille, sans dollars
Aucun tarif chiffré ici : aucun n'a été vérifié pour cette édition. La grille DeepSeek pricing évolue vite, et les chiffres qui circulent vieillissent en quelques semaines.
Ce qui reste stable, c'est la logique commerciale. DeepSeek positionne ce modèle comme son offre rapide, avec des noms d'API hérités qui continuent de fonctionner à la place de l'actuel.
Les trackers publics, BenchLM et Artificial Analysis en tête, affichent le coût par tâche et par million de tokens à jour. C'est là qu'il faut regarder avant de budgéter.
Rien d'automatique.
DeepSeek local inference : 128 Go de RAM minimum
Faire tourner le modèle chez soi est possible, à condition d'avoir la machine.
Le guide d'Unsloth donne deux paliers. Un système avec 128 Go de RAM ou plus, ou une configuration à 64 Go qui s'appuie sur le disque en secours, beaucoup plus lente. Le fichier de quantification pèse environ 500 Go, avec 508,4 Go pour l'UD-Q8_K_XL et 500,7 Go pour l'UD-Q4_K_XL.
Ce n'est pas un portable, ni une carte graphique grand public.
Unsloth annonce par ailleurs que ses quantifications dynamiques V3.1 gagnent 10 à 15 % de précision et consomment 30 % de tokens en moins que les quantifications de même taille, avec un débit environ trois fois supérieur à d'autres dépôts. Ce sont les chiffres de l'éditeur du guide, pas un test indépendant.
deepseek-flash et reasoning_effort : les réglages par défaut
L'API a changé de nom, pas de logique. Le nom deepseek-flash est désormais servi par DeepSeek-V4.1-Flash-1017. Les anciens noms, comme deepseek-v4-flash, restent acceptés et facturés au tarif Flash.
Le raisonnement est activé par défaut, avec un reasoning_effort à 75 sur une échelle de 1 à 100. Le gabarit associe low à 50, medium à 62, high à 75 et max à 100.
Pour les générations longues, DeepSeek recommande de laisser au moins 256 000 tokens de sortie. Sans cette marge, le modèle peut être coupé en pleine réflexion, et le résultat perd l'intérêt du raisonnement étendu.
Ce que DeepSeek V4.1 Flash change pour un développeur
La bonne façon de lire ces chiffres tient en une phrase : les écarts entre harnais bougent plus que les générations de modèles.
Combien de ces épreuves ressemblent à votre travail réel ? Prenez trois tâches de votre semaine, lancez-les sur le modèle avec vos réglages, et comparez à ce que vous utilisez déjà. Un score de 90,6 % sur Terminal-Bench 2.1 ne dit rien de votre pipeline, et un classement de 31e sur 1 016 non plus.
Ce qui reste utile, en revanche, est vérifiable : les poids sont ouverts, la fenêtre de contexte est énorme, et le modèle tient sur un serveur à 128 Go de RAM. Pour une équipe qui héberge chez OVHcloud ou Scaleway, cela ouvre une option sérieuse, à condition d'accepter le fichier de 500 Go et une latence à mesurer.
