FuriosaAI

O RNGD usa o Tensor Contraction Processor, uma arquitetura que executa contrações tensoriais, a matemática por trás do aprendizado profundo, direto no hardware. Uma contração tensorial é uma forma geral de cálculo matricial, então o chip cobre muitos formatos de modelo e não só operações de tamanho fixo. O FuriosaAI afirma que esse desenho mantém alta a utilização de computação quando mudam o tamanho do lote e a estrutura do modelo.

Uma placa RNGD, uma placa aceleradora de IA para o slot PCIe Gen5, entrega 512 TFLOPS em FP8, 512 TOPS em INT8 e 1024 TOPS em INT4, com 48GB de memória HBM3 e 1.5 TB/s de largura de banda. O consumo nominal é de 180W, cerca de metade de aceleradores GPU comparáveis. Menos watts por placa significa mais computação dentro de um orçamento de energia fixo.

O Furiosa-LLM é o motor de inferência que roda sobre o hardware, e ele espelha a API do vLLM além de um servidor compatível com OpenAI. Você roda furiosa-llm serve e aponta seus apps para o endpoint. Para os times, isso quer dizer que um aplicativo escrito contra um endpoint de GPU costuma migrar sem tocar no código de cliente.

O NXT RNGD é um servidor rackmount 4U turnkey com 8 chips RNGD, 384GB de memória de acelerador, 1TB de memória de sistema DDR5, dois processadores AMD EPYC 9354 e 4096 TFLOPS de desempenho em FP8. Vem com Ubuntu 24.04 LTS e toda a pilha de software da Furiosa pré-instalada. É feito para times que querem capacidade de inferência sem buscar e integrar peças por conta própria.

O SR-IOV divide um chip físico em 2, 4 ou 8 instâncias independentes, cada uma com núcleos de computação dedicados e largura de banda de memória privada. Isso encaixa em clusters Kubernetes multilocatário, onde várias cargas dividem hardware mas precisam de isolamento e latência estável. Memória ECC e boot seguro somam confiabilidade e uma raiz de confiança em hardware.

O compilador da Furiosa planeja a alocação de memória e o agendamento de instruções de antemão, em vez de depender de kernels ajustados à mão para cada modelo. Como o hardware é previsível, o compilador busca num espaço limitado de formatos e táticas e monta um plano de execução para todo o grafo. Modelos novos rodam bem sem que alguém escreva kernels para cada um.

O conjunto de ferramentas cobre compilação, runtime e atendimento: Furiosa Compiler, Furiosa Runtime e Furiosa-LLM. Há aplicativos de referência para agentes e geração aumentada por recuperação publicados no GitHub, então os desenvolvedores partem de algo pronto em vez de um arquivo em branco. A pilha se integra a clusters Kubernetes e pipelines de atendimento já existentes.