Modelos

DeepSeek abre o DeepInfer, o motor que roda seus modelos, mas só metade dele

A DeepSeek publicou o DeepInfer, o framework que roda seus modelos em produção, com licença Apache 2.0. É o motor que decide quanto custa cada resposta. Só que a parte mais delicada, a que segura a conta de pé, ficou fora do repositório.

Mariana SilvaMariana Silva
Popularidade: 1,420
DeepSeek abre o DeepInfer, o motor que roda seus modelos, mas só metade dele

A DeepSeek publicou o DeepInfer, o framework que roda seus modelos em produção, com licença Apache 2.0. É o motor que decide quanto custa cada resposta. Só que a parte mais delicada, a que segura a conta de pé, ficou fora do repositório.

O que é o DeepInfer, o motor que roda o DeepSeek

Todo modelo de linguagem precisa de um programa para atendê-lo. Esse programa organiza a fila de pedidos, distribui a conta entre as GPUs, guarda o que já foi processado e decide quando vale a pena arriscar um palpite. É o framework de inferência, e ele costuma ficar invisível.

O DeepInfer é o framework que a DeepSeek usa para servir o próprio modelo. A empresa abriu o código em 20 de outubro, sob licença Apache 2.0, no repositório deepseek-ai/DeepInfer. Na prática, é a primeira vez que a companhia mostra a engenharia que transforma placa de vídeo em resposta vendida por token.

O que existe hoje no GitHub é a versão de inferência offline, com boa parte dos componentes de um serviço grande. Não é o sistema completo que atende o chatbot da empresa.

O DeepInfer só serve a um modelo: o DeepSeek-V4.1-Flash

A limitação é explícita. O framework carrega apenas o DeepSeek-V4.1-Flash, e por padrão usa o checkpoint 1017, lançado no fim de semana anterior.

Não há suporte a outros modelos, nem da própria DeepSeek, nem de terceiros. Quem quiser rodar Llama ou Qwen em cima do DeepInfer não vai conseguir hoje.

Para um time de infraestrutura, isso muda o cálculo. O DeepInfer não é um substituto do vLLM no sentido amplo. É uma referência de como a DeepSeek resolveu o problema dela, com um modelo específico em mente.

DSpark e SWA: as duas otimizações que a DeepSeek detalha

A primeira é a decodificação especulativa com agendamento por confiança, que a empresa chama de DSpark. O modelo rascunho propõe cinco tokens de uma vez e uma cabeça de confiança estima quais deles o modelo principal vai aceitar. Só os candidatos mais prováveis passam pela verificação, o que corta cerca de 30% do trabalho de checagem em cada passo. A DeepSeek estima ganho de 4% a 7% de throughput em carga de produção.

A segunda é o SWA com replay limitado. Em vez de reprocessar o prompt inteiro, o sistema manda de volta ao decodificador apenas os últimos 128 a 140 tokens. A empresa afirma que isso quase reduz pela metade o cálculo de prefill, a etapa em que o modelo lê o que você escreveu antes de começar a responder.

O resto é a fundação: kernels otimizados como FlashMLA, DeepGEMM, DeepEP, TileKernels e DeepSelect, além de kernels escritos em TileLang. No paralelismo, entram atenção com data parallel, context parallel balanceado e especialização de especialistas em MoE com EPLB, o balanceador que evita que um especialista vire gargalo.

Há ainda agendamento assíncrono, saída estruturada por regex, JSON Schema ou EBNF, inferência invariante a lote e amostragem determinística. As duas últimas só funcionam em NVIDIA, segundo a documentação.

Hardware do DeepInfer: Blackwell e Ascend 950, sem Hopper

O framework roda em GPUs NVIDIA SM100, a geração Blackwell, e em NPUs Huawei Ascend 950. Não há suporte a Hopper nem a placas NVIDIA mais antigas.

A escolha diz bastante. A DeepSeek não está tentando cobrir a frota instalada. Está otimizando para o hardware que ela mesma comprou e para a parceria com a Huawei, que em 30 de setembro levou o compilador TileLang para o Ascend.

Os benchmarks publicados, todos de NVIDIA, usam quatro SM100 para prefill e 64 SM100 para decode. São números da própria DeepSeek, sem verificação independente até agora. E não há medição equivalente em Ascend, o que deixa a comparação entre as duas plataformas em aberto.

O que ficou fora do DeepInfer?

Três peças ficaram de fora: o sistema de cache KV, a separação entre prefill e decode em máquinas diferentes e o balanceamento de carga entre réplicas.

A justificativa oficial é que essas partes estão fortemente acopladas à infraestrutura interna. A DeepSeek chegou a explicar o funcionamento em um texto publicado no Zhihu, mas sem entregar o código.

Também aparece um número que assusta quem pensa em montar isso em casa: a implantação mínima considerada eficiente é de 64 GPUs para prefill mais 64 GPUs para decode. Cento e vinte e oito placas. Para a maioria das empresas, o DeepInfer serve como estudo de caso, não como receita de produção.

Os números de produção do DeepInfer: 155 trilhões de tokens por dia

A DeepSeek divulgou dados de operação junto com o código. Um único cluster serve 155 trilhões de tokens por dia. Considerando o preço de horário fora de pico, isso equivale a cerca de US$ 38 de receita por GPU por hora.

São números da empresa, sem auditoria externa. Ainda assim, ajudam a entender por que otimizar inferência virou prioridade: nessa escala, cada ponto percentual de throughput vira dinheiro de verdade.

A herança do DeepInfer: vLLM, SGLang e TensorRT-LLM

O README é honesto sobre as origens. O DeepInfer foi construído inicialmente em cima do vLLM e incorporou ideias do SGLang e do TensorRT-LLM.

Junto com o framework, a DeepSeek abriu o deepseek-recipe, biblioteca que converte pedidos de API em sequência de tokens usando a mesma lógica da API oficial. A ideia é que quem self-hospeda o modelo tenha o mesmo comportamento de quem paga pelo serviço.

A empresa diz que o código de inferência dos próximos modelos também vai entrar nesse repositório. Se isso acontecer, o DeepInfer deixa de ser um caso isolado e vira a base oficial da linha.

Por que a DeepSeek abriu o DeepInfer agora?

O anúncio veio um dia depois de o Departamento de Segurança Interna dos Estados Unidos exigir que órgãos civis federais removessem produtos DeepSeek de seus sistemas, incluindo serviços de terceiros construídos sobre a tecnologia.

A empresa não respondeu ao movimento de forma direta.

Publicou código.

Também pesa o histórico. Em abril de 2025, a DeepSeek decidiu não abrir o motor completo, alegando acoplamento com ferramentas internas de gestão de cluster e falta de braço para manter um projeto grande de código aberto. Liberou apenas componentes, como FlashMLA, DeepGEMM e DeepEP. O DeepInfer é a correção dessa rota, feita pela metade.

O movimento combina com o que a Bloomberg noticiou em setembro: a empresa planeja instalar pelo menos 160 mil chips Ascend 950DT em um novo data center na Mongólia Interior. Dono do modelo e do motor, a DeepSeek reduz a dependência de fornecedor americano em duas camadas ao mesmo tempo.

Para desenvolvedor, o ganho é ter uma implementação de referência de um sistema que serve centenas de trilhões de tokens por dia. Para quem esperava um framework pronto para qualquer modelo, a resposta é não. O DeepInfer mostra como a DeepSeek economiza. A parte que mais economiza continua fora do repositório.

Vale acompanhar os próximos commits. Se o cache KV aparecer, o quadro muda de tamanho.

Compartilhar esta notícia

Fontes

Notícias de IA relacionadas

Uma longa forma de onda verde-azulada com uma barra laranja de destaque em campo escuro
Modelos

Rumble-2-Flash: um modelo de fala de 0,5B encosta no de 30B

A Reson8 liberou um modelo de reconhecimento de fala de 0,5 bilhão de parâmetros que fica a um décimo de ponto de um gigante de 30 bilhões em ligações de call center. O número interessa a quem paga por minuto de transcrição, e o resto do pacote decide se vale trocar.

Popularidade: 560
Três anéis de neon orbitando um pequeno núcleo brilhante em campo azul-escuro
Modelos

Gemini 4 Neon chega ao app, e o seletor perde Argon e 3.1 Pro

O Gemini 4 Neon entrou no app como a opção do meio: mais forte que o Hydrogen, mais barato que o Carbon. A troca interessa a quem paga o Gemini AI Pro, porque duas opções antigas saíram do seletor no mesmo dia.

Popularidade: 1,500
Um grande núcleo de modelo cercado por raios de raciocínio ao lado de um núcleo rápido menor, com barras de preço em queda à direita
Modelos

GPT-6.2 Astra fica 20% mais barato e continua atrás no teste independente

A OpenAI cortou o preço do Astra em 20% e deixou o Sol na faixa anterior. Só que a fatura por tarefa depende de outro número: quantos tokens o modelo queima até entregar o resultado.

Popularidade: 1,900
Uma grade densa de quadrados especialistas com seis nós acesos e uma fita longa atravessando
Modelos

Qwen4-Max: 2,4 trilhões de parâmetros e a conta menor por tarefa

A Alibaba não está vendendo o modelo mais forte do mercado. Está vendendo a conta menor no fim do mês, com uma arquitetura que gasta menos tokens para chegar à mesma resposta. A diferença aparece nos benchmarks que o Qwen4-Max perde.

Popularidade: 1,650