A DeepSeek publicou o DeepInfer, o framework que roda seus modelos em produção, com licença Apache 2.0. É o motor que decide quanto custa cada resposta. Só que a parte mais delicada, a que segura a conta de pé, ficou fora do repositório.
O que é o DeepInfer, o motor que roda o DeepSeek
Todo modelo de linguagem precisa de um programa para atendê-lo. Esse programa organiza a fila de pedidos, distribui a conta entre as GPUs, guarda o que já foi processado e decide quando vale a pena arriscar um palpite. É o framework de inferência, e ele costuma ficar invisível.
O DeepInfer é o framework que a DeepSeek usa para servir o próprio modelo. A empresa abriu o código em 20 de outubro, sob licença Apache 2.0, no repositório deepseek-ai/DeepInfer. Na prática, é a primeira vez que a companhia mostra a engenharia que transforma placa de vídeo em resposta vendida por token.
O que existe hoje no GitHub é a versão de inferência offline, com boa parte dos componentes de um serviço grande. Não é o sistema completo que atende o chatbot da empresa.
O DeepInfer só serve a um modelo: o DeepSeek-V4.1-Flash
A limitação é explícita. O framework carrega apenas o DeepSeek-V4.1-Flash, e por padrão usa o checkpoint 1017, lançado no fim de semana anterior.
Não há suporte a outros modelos, nem da própria DeepSeek, nem de terceiros. Quem quiser rodar Llama ou Qwen em cima do DeepInfer não vai conseguir hoje.
Para um time de infraestrutura, isso muda o cálculo. O DeepInfer não é um substituto do vLLM no sentido amplo. É uma referência de como a DeepSeek resolveu o problema dela, com um modelo específico em mente.
DSpark e SWA: as duas otimizações que a DeepSeek detalha
A primeira é a decodificação especulativa com agendamento por confiança, que a empresa chama de DSpark. O modelo rascunho propõe cinco tokens de uma vez e uma cabeça de confiança estima quais deles o modelo principal vai aceitar. Só os candidatos mais prováveis passam pela verificação, o que corta cerca de 30% do trabalho de checagem em cada passo. A DeepSeek estima ganho de 4% a 7% de throughput em carga de produção.
A segunda é o SWA com replay limitado. Em vez de reprocessar o prompt inteiro, o sistema manda de volta ao decodificador apenas os últimos 128 a 140 tokens. A empresa afirma que isso quase reduz pela metade o cálculo de prefill, a etapa em que o modelo lê o que você escreveu antes de começar a responder.
O resto é a fundação: kernels otimizados como FlashMLA, DeepGEMM, DeepEP, TileKernels e DeepSelect, além de kernels escritos em TileLang. No paralelismo, entram atenção com data parallel, context parallel balanceado e especialização de especialistas em MoE com EPLB, o balanceador que evita que um especialista vire gargalo.
Há ainda agendamento assíncrono, saída estruturada por regex, JSON Schema ou EBNF, inferência invariante a lote e amostragem determinística. As duas últimas só funcionam em NVIDIA, segundo a documentação.
Hardware do DeepInfer: Blackwell e Ascend 950, sem Hopper
O framework roda em GPUs NVIDIA SM100, a geração Blackwell, e em NPUs Huawei Ascend 950. Não há suporte a Hopper nem a placas NVIDIA mais antigas.
A escolha diz bastante. A DeepSeek não está tentando cobrir a frota instalada. Está otimizando para o hardware que ela mesma comprou e para a parceria com a Huawei, que em 30 de setembro levou o compilador TileLang para o Ascend.
Os benchmarks publicados, todos de NVIDIA, usam quatro SM100 para prefill e 64 SM100 para decode. São números da própria DeepSeek, sem verificação independente até agora. E não há medição equivalente em Ascend, o que deixa a comparação entre as duas plataformas em aberto.
O que ficou fora do DeepInfer?
Três peças ficaram de fora: o sistema de cache KV, a separação entre prefill e decode em máquinas diferentes e o balanceamento de carga entre réplicas.
A justificativa oficial é que essas partes estão fortemente acopladas à infraestrutura interna. A DeepSeek chegou a explicar o funcionamento em um texto publicado no Zhihu, mas sem entregar o código.
Também aparece um número que assusta quem pensa em montar isso em casa: a implantação mínima considerada eficiente é de 64 GPUs para prefill mais 64 GPUs para decode. Cento e vinte e oito placas. Para a maioria das empresas, o DeepInfer serve como estudo de caso, não como receita de produção.
Os números de produção do DeepInfer: 155 trilhões de tokens por dia
A DeepSeek divulgou dados de operação junto com o código. Um único cluster serve 155 trilhões de tokens por dia. Considerando o preço de horário fora de pico, isso equivale a cerca de US$ 38 de receita por GPU por hora.
São números da empresa, sem auditoria externa. Ainda assim, ajudam a entender por que otimizar inferência virou prioridade: nessa escala, cada ponto percentual de throughput vira dinheiro de verdade.
A herança do DeepInfer: vLLM, SGLang e TensorRT-LLM
O README é honesto sobre as origens. O DeepInfer foi construído inicialmente em cima do vLLM e incorporou ideias do SGLang e do TensorRT-LLM.
Junto com o framework, a DeepSeek abriu o deepseek-recipe, biblioteca que converte pedidos de API em sequência de tokens usando a mesma lógica da API oficial. A ideia é que quem self-hospeda o modelo tenha o mesmo comportamento de quem paga pelo serviço.
A empresa diz que o código de inferência dos próximos modelos também vai entrar nesse repositório. Se isso acontecer, o DeepInfer deixa de ser um caso isolado e vira a base oficial da linha.
Por que a DeepSeek abriu o DeepInfer agora?
O anúncio veio um dia depois de o Departamento de Segurança Interna dos Estados Unidos exigir que órgãos civis federais removessem produtos DeepSeek de seus sistemas, incluindo serviços de terceiros construídos sobre a tecnologia.
A empresa não respondeu ao movimento de forma direta.
Publicou código.
Também pesa o histórico. Em abril de 2025, a DeepSeek decidiu não abrir o motor completo, alegando acoplamento com ferramentas internas de gestão de cluster e falta de braço para manter um projeto grande de código aberto. Liberou apenas componentes, como FlashMLA, DeepGEMM e DeepEP. O DeepInfer é a correção dessa rota, feita pela metade.
O movimento combina com o que a Bloomberg noticiou em setembro: a empresa planeja instalar pelo menos 160 mil chips Ascend 950DT em um novo data center na Mongólia Interior. Dono do modelo e do motor, a DeepSeek reduz a dependência de fornecedor americano em duas camadas ao mesmo tempo.
Para desenvolvedor, o ganho é ter uma implementação de referência de um sistema que serve centenas de trilhões de tokens por dia. Para quem esperava um framework pronto para qualquer modelo, a resposta é não. O DeepInfer mostra como a DeepSeek economiza. A parte que mais economiza continua fora do repositório.
Vale acompanhar os próximos commits. Se o cache KV aparecer, o quadro muda de tamanho.






