IonRouter

Qualquer linguagem ou framework que já fala com a API da OpenAI pode falar com o IonRouter, então você aponta seu cliente atual para uma URL base nova, troca por uma chave nova e vê as mesmas chamadas seguirem funcionando sem reescrever nada. Não há SDK novo para aprender nem refazer o tratamento das suas requisições. Para equipes que já estão em um modelo hospedado, essa é toda a migração.

O IonAttention é o stack de inferência próprio da Cumulus Labs. Ele multiplexa modelos em uma única GPU, troca-os em milissegundos e se ajusta ao tráfego conforme ele muda. Segundo a empresa, um único GH200 com o Qwen2.5-7B chega a cerca de 7.167 tokens por segundo, contra cerca de 3.000 de um provedor de inferência de ponta, algo que a equipe apresenta como prova de que seu motor extrai mais trabalho do mesmo silício do que a montagem hospedada comum. Trate esse dado como número do fornecedor. O objetivo de design é real: menos hardware ocioso, menor custo por token.

Você paga por milhão de tokens em vez de por hora reservada. Não há cobrança por manter uma GPU aquecida enquanto nada roda, e essa única diferença remodela como você orça um recurso cujo tráfego não consegue prever. Para cargas que explodem e depois silenciam, esse formato de preço costuma superar uma reserva fixa. Seu custo escala com o que você de fato serve. Nada mais.

Você pode implantar seus próprios finetunes, LoRAs personalizados ou qualquer modelo de código aberto na frota, e cada um recebe seu próprio stream de GPU com cobrança por segundo em vez de uma fila compartilhada que torna sua latência imprevisível. Isso importa se seu produto depende de um modelo ajustado aos seus dados e você não quer cuidar do seu próprio cluster.

O catálogo abrange modelos de linguagem, visão, imagem, vídeo e áudio, então você pode escolher o mais barato que supera o critério de uma tarefa e reservar os pesos-pesados caros para trabalho que realmente precisa deles. Entre as opções de ponta estão o GLM-5 para raciocínio e código, o Kimi-K2.5 para documentos longos e o MiniMax-M2.5 com um contexto de um milhão de tokens. Modelos pequenos e mais baratos como o Qwen3-8B e o GPT-OSS-120B cobrem trabalhos leves. Os preços vão de alguns centavos a alguns dólares por milhão de tokens conforme o modelo.

O IonRouter roda em GPUs NVIDIA Grace Hopper, e a empresa faz parte do programa NVIDIA Inception. Os streams dedicados fazem seu tráfego não dividir fila com desconhecidos de um jeito que dispare sua latência. As inicializações a frio de menos de um segundo evitam que a primeira requisição de uma sessão deixe os usuários esperando.