Modelos

DeepSeek abre DeepInfer, el motor de su servicio, con la mitad de las piezas fuera

DeepSeek publicó el código que mueve su propio servicio de modelos, con licencia Apache 2.0 y soporte para dos familias de hardware. Lo que no publicó es la mitad que hace que ese servicio aguante volumen real.

Lucía GarcíaLucía García
Popularidad: 1,420
DeepSeek abre DeepInfer, el motor de su servicio, con la mitad de las piezas fuera

DeepSeek publicó el código que mueve su propio servicio de modelos, con licencia Apache 2.0 y soporte para dos familias de hardware. Lo que no publicó es la mitad que hace que ese servicio aguante volumen real.

Qué es DeepInfer y qué puedes ejecutar hoy

DeepInfer es el motor de inferencia que DeepSeek usa en producción, ahora en el repositorio deepseek-ai/DeepInfer con licencia Apache 2.0. Salió el 20 de octubre y no es un framework genérico: es la ruta concreta por la que corre un modelo.

Ese modelo es uno solo, DeepSeek-V4.1-Flash. Por defecto carga el checkpoint 1017, la versión que la empresa publicó el fin de semana anterior. Si quieres servir otro modelo, este repositorio no te sirve todavía.

El hardware que exige DeepInfer: Blackwell y Ascend 950, nada de Hopper

DeepInfer corre en GPU NVIDIA SM100, la generación Blackwell, y en la NPU Huawei Ascend 950. No soporta Hopper ni tarjetas NVIDIA anteriores.

Ese detalle decide quién puede probarlo. Si tu clúster es de H100, el repositorio no es para ti, por bueno que sea el código. La lista de hardware también cuenta una historia sobre hacia dónde va la infraestructura de DeepSeek, que según Bloomberg prepara desde hace meses capacidad en Ascend.

DSpark: decodificación especulativa con un filtro de confianza

La decodificación especulativa es una técnica conocida. Un modelo pequeño y rápido propone varios tokens, y el modelo grande los verifica todos de una sola pasada, lo que ahorra tiempo cuando el borrador acierta y obliga a repetir trabajo cuando falla.

DeepInfer le añade una capa. El borrador propone cinco tokens a la vez y una cabeza de confianza predice cuáles aceptará el modelo principal. Solo se verifican los candidatos más probables, lo que reduce en torno al 30 % el trabajo de comprobación en cada paso.

DeepSeek estima que, con carga de producción, eso se traduce en un 4 % a 7 % más de throughput. Son cifras de la propia empresa, medidas en su infraestructura. Un 4 % a 7 % no suena a revolución, pero en un servicio que factura por token cada punto cuenta.

El replay acotado de la ventana de atención y el coste del prefill

Antes de responder, un modelo tiene que leer el prompt completo. Esa fase se llama prefill y suele ser la parte cara cuando el texto de entrada es largo.

La técnica que DeepSeek llama SWA con replay acotado evita releer todo. Solo vuelve a pasar por el decodificador el tramo final del prompt, unos 128 a 140 tokens. La compañía afirma que con eso el cálculo de prefill se reduce casi a la mitad.

La idea detrás es que el contexto lejano ya está resumido en el estado interno, y que repetirlo aporta poco. Si eso se sostiene en tus documentos, es una ganancia directa en latencia y en factura. ¿Se puede comprobar sin acceso a su infraestructura? Poco.

Lo que falta en el repositorio de DeepInfer

Tres piezas no están. El sistema de caché KV, que guarda el estado de conversaciones anteriores para no recalcularlo. El despliegue separado de prefill y decode, que permite dedicar máquinas distintas a cada fase. Y el balanceo de carga entre réplicas.

DeepSeek explica en una entrada de su blog en Zhihu cómo funcionan las tres. El código no va con la explicación, porque según la empresa están muy acopladas a su infraestructura interna. Traducido: puedes ejecutar el modelo, pero la capa que lo convierte en un servicio serio, con caché compartida, reparto de carga entre réplicas y separación entre la fase de lectura y la de escritura, la tienes que construir tú.

Cuánto hardware necesita DeepInfer para tener sentido

La propia documentación responde la pregunta incómoda. El despliegue mínimo que DeepSeek considera eficiente son 64 GPU para prefill y 64 para decode. Ciento veintiocho aceleradores, no una máquina de escritorio.

En la sección de preguntas frecuentes hay dos datos más que conviene leer antes de imaginar un despliegue modesto en un servidor propio. Un solo clúster sirve 155 billones de tokens al día. Y con la tarifa de horas valle, eso equivale a unos 38 dólares de ingresos por GPU y por hora.

Las pruebas de rendimiento se hicieron todas en NVIDIA, con 4 SM100 para prefill y 64 para decode, y los números son autodeclarados, así que no hay forma de saber cómo se comporta el mismo código en la NPU de Huawei ni en un clúster más pequeño. No hay cifras públicas de rendimiento en Ascend.

De vLLM a DeepInfer: la deuda que arrastra

DeepInfer empezó siendo, sobre todo, una capa sobre vLLM. El equipo también tomó ideas de SGLang y de TensorRT-LLM, y lo dice en el README. Los kernels propios incluyen FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect y variantes escritas en TileLang.

Junto al motor se publica deepseek-recipe, una librería que convierte peticiones en secuencias de tokens con la misma lógica que la API oficial. La empresa dice que el código de inferencia de sus próximos modelos irá al mismo repositorio.

El contexto ayuda a leer el gesto. En abril de 2025, DeepSeek había decidido no abrir su motor completo, con el argumento de que estaba demasiado atado a sus herramientas de gestión de clúster y que un equipo pequeño no podía mantener un proyecto abierto de ese tamaño. Liberó piezas sueltas: FlashMLA, DeepGEMM, DeepEP. Ahora entrega el armazón, pero no el sistema de servicio.

El contexto político del lanzamiento de DeepInfer

Un día antes del lanzamiento, el Departamento de Seguridad Nacional de Estados Unidos pidió a las agencias civiles federales retirar los productos de DeepSeek, incluidos servicios de terceros construidos sobre su tecnología.

Para un desarrollador fuera de Estados Unidos, la decisión no cambia nada. Para una agencia federal, cierra una puerta. Y para DeepSeek, el mensaje es que su mercado exterior se estrecha justo cuando publica su infraestructura.

Qué significa DeepInfer para quien sirve modelos

Si tienes Blackwell y un equipo de plataforma, el repositorio merece una lectura detenida. Los kernels, el truco de confianza en la decodificación y el replay acotado son ideas que se pueden llevar a otro sitio, aunque no uses DeepSeek-V4.1-Flash.

Si no tienes ese hardware, lo valioso no es el código. Es la documentación de lo que DeepSeek decidió no abrir, porque ahí está el mapa de lo que de verdad cuesta servir un modelo grande hoy.

Compartir esta noticia

Fuentes

Noticias de IA relacionadas

Contorno de una ventana de navegador con una onda de audio luminosa sobre un degradado turquesa
Modelos

Underdog mete un modelo de voz de 32 MB en una pestaña del navegador

Underdog presentó Woof el 5 de noviembre: un modelo de texto a voz de 31,7 MB que corre en una pestaña y no necesita internet. La demostración es una habitación retro que habla lo que escribes.

Popularidad: 1,040
Fotogramas de película que pasan del violeta al ámbar
Modelos

Gemini Omni 1.2 Flash: clips de 15 segundos y un 30% menos de factura

Google actualizó el 5 de noviembre Gemini Omni 1.2 Flash, su modelo de vídeo para producción. La duración máxima pasa de 10 a 15 segundos y el precio cae un 30%, hasta 0,07 dólares por segundo en 720p. Un clip completo cuesta ahora poco más que antes costaba uno corto.

Popularidad: 1,420
Silueta de escudo en azul acero sobre líneas de escaneo
Modelos

OpenAI presenta GPT-6 Cyber, un GPT-6 Astra que busca fallos y propone parches

OpenAI presentó el 5 de noviembre GPT-6 Cyber, una variante de GPT-6 Astra entrenada para localizar vulnerabilidades, escribir exploits que funcionan y proponer el parche. Las cifras del anuncio son suyas, ninguna ha pasado por una prueba independiente y el acceso sigue cerrado a un grupo pequeño de clientes.

Popularidad: 1,580
Indigo lattice forming a hexagon to represent an open-weight model release
Modelos

Kimi K3.1 Pro ya se descarga, pero ¿quién puede ejecutarlo?

Moonshot AI cumplió lo que prometió el 24 de octubre: los pesos completos de Kimi K3.1 Pro ya están en Hugging Face. Descargarlos no cuesta nada. Ejecutarlos exige un centro de datos, y esa distancia es la noticia.

Popularidad: 1,150