DeepSeek publicó el código que mueve su propio servicio de modelos, con licencia Apache 2.0 y soporte para dos familias de hardware. Lo que no publicó es la mitad que hace que ese servicio aguante volumen real.
Qué es DeepInfer y qué puedes ejecutar hoy
DeepInfer es el motor de inferencia que DeepSeek usa en producción, ahora en el repositorio deepseek-ai/DeepInfer con licencia Apache 2.0. Salió el 20 de octubre y no es un framework genérico: es la ruta concreta por la que corre un modelo.
Ese modelo es uno solo, DeepSeek-V4.1-Flash. Por defecto carga el checkpoint 1017, la versión que la empresa publicó el fin de semana anterior. Si quieres servir otro modelo, este repositorio no te sirve todavía.
El hardware que exige DeepInfer: Blackwell y Ascend 950, nada de Hopper
DeepInfer corre en GPU NVIDIA SM100, la generación Blackwell, y en la NPU Huawei Ascend 950. No soporta Hopper ni tarjetas NVIDIA anteriores.
Ese detalle decide quién puede probarlo. Si tu clúster es de H100, el repositorio no es para ti, por bueno que sea el código. La lista de hardware también cuenta una historia sobre hacia dónde va la infraestructura de DeepSeek, que según Bloomberg prepara desde hace meses capacidad en Ascend.
DSpark: decodificación especulativa con un filtro de confianza
La decodificación especulativa es una técnica conocida. Un modelo pequeño y rápido propone varios tokens, y el modelo grande los verifica todos de una sola pasada, lo que ahorra tiempo cuando el borrador acierta y obliga a repetir trabajo cuando falla.
DeepInfer le añade una capa. El borrador propone cinco tokens a la vez y una cabeza de confianza predice cuáles aceptará el modelo principal. Solo se verifican los candidatos más probables, lo que reduce en torno al 30 % el trabajo de comprobación en cada paso.
DeepSeek estima que, con carga de producción, eso se traduce en un 4 % a 7 % más de throughput. Son cifras de la propia empresa, medidas en su infraestructura. Un 4 % a 7 % no suena a revolución, pero en un servicio que factura por token cada punto cuenta.
El replay acotado de la ventana de atención y el coste del prefill
Antes de responder, un modelo tiene que leer el prompt completo. Esa fase se llama prefill y suele ser la parte cara cuando el texto de entrada es largo.
La técnica que DeepSeek llama SWA con replay acotado evita releer todo. Solo vuelve a pasar por el decodificador el tramo final del prompt, unos 128 a 140 tokens. La compañía afirma que con eso el cálculo de prefill se reduce casi a la mitad.
La idea detrás es que el contexto lejano ya está resumido en el estado interno, y que repetirlo aporta poco. Si eso se sostiene en tus documentos, es una ganancia directa en latencia y en factura. ¿Se puede comprobar sin acceso a su infraestructura? Poco.
Lo que falta en el repositorio de DeepInfer
Tres piezas no están. El sistema de caché KV, que guarda el estado de conversaciones anteriores para no recalcularlo. El despliegue separado de prefill y decode, que permite dedicar máquinas distintas a cada fase. Y el balanceo de carga entre réplicas.
DeepSeek explica en una entrada de su blog en Zhihu cómo funcionan las tres. El código no va con la explicación, porque según la empresa están muy acopladas a su infraestructura interna. Traducido: puedes ejecutar el modelo, pero la capa que lo convierte en un servicio serio, con caché compartida, reparto de carga entre réplicas y separación entre la fase de lectura y la de escritura, la tienes que construir tú.
Cuánto hardware necesita DeepInfer para tener sentido
La propia documentación responde la pregunta incómoda. El despliegue mínimo que DeepSeek considera eficiente son 64 GPU para prefill y 64 para decode. Ciento veintiocho aceleradores, no una máquina de escritorio.
En la sección de preguntas frecuentes hay dos datos más que conviene leer antes de imaginar un despliegue modesto en un servidor propio. Un solo clúster sirve 155 billones de tokens al día. Y con la tarifa de horas valle, eso equivale a unos 38 dólares de ingresos por GPU y por hora.
Las pruebas de rendimiento se hicieron todas en NVIDIA, con 4 SM100 para prefill y 64 para decode, y los números son autodeclarados, así que no hay forma de saber cómo se comporta el mismo código en la NPU de Huawei ni en un clúster más pequeño. No hay cifras públicas de rendimiento en Ascend.
De vLLM a DeepInfer: la deuda que arrastra
DeepInfer empezó siendo, sobre todo, una capa sobre vLLM. El equipo también tomó ideas de SGLang y de TensorRT-LLM, y lo dice en el README. Los kernels propios incluyen FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect y variantes escritas en TileLang.
Junto al motor se publica deepseek-recipe, una librería que convierte peticiones en secuencias de tokens con la misma lógica que la API oficial. La empresa dice que el código de inferencia de sus próximos modelos irá al mismo repositorio.
El contexto ayuda a leer el gesto. En abril de 2025, DeepSeek había decidido no abrir su motor completo, con el argumento de que estaba demasiado atado a sus herramientas de gestión de clúster y que un equipo pequeño no podía mantener un proyecto abierto de ese tamaño. Liberó piezas sueltas: FlashMLA, DeepGEMM, DeepEP. Ahora entrega el armazón, pero no el sistema de servicio.
El contexto político del lanzamiento de DeepInfer
Un día antes del lanzamiento, el Departamento de Seguridad Nacional de Estados Unidos pidió a las agencias civiles federales retirar los productos de DeepSeek, incluidos servicios de terceros construidos sobre su tecnología.
Para un desarrollador fuera de Estados Unidos, la decisión no cambia nada. Para una agencia federal, cierra una puerta. Y para DeepSeek, el mensaje es que su mercado exterior se estrecha justo cuando publica su infraestructura.
Qué significa DeepInfer para quien sirve modelos
Si tienes Blackwell y un equipo de plataforma, el repositorio merece una lectura detenida. Los kernels, el truco de confianza en la decodificación y el replay acotado son ideas que se pueden llevar a otro sitio, aunque no uses DeepSeek-V4.1-Flash.
Si no tienes ese hardware, lo valioso no es el código. Es la documentación de lo que DeepSeek decidió no abrir, porque ahí está el mapa de lo que de verdad cuesta servir un modelo grande hoy.






