FuriosaAI

RNGD usa el Tensor Contraction Processor, una arquitectura que ejecuta contracciones tensoriales, la matemática detrás del aprendizaje profundo, directamente en hardware. Una contracción tensorial es una forma general de cálculo matricial, así que el chip cubre muchas formas de modelo y no solo operaciones de tamaño fijo. FuriosaAI sostiene que este diseño mantiene alta la utilización de cómputo cuando cambian el tamaño de lote y la estructura del modelo.

Una tarjeta RNGD, una tarjeta aceleradora de IA para la ranura PCIe Gen5, entrega 512 TFLOPS en FP8, 512 TOPS en INT8 y 1024 TOPS en INT4, con 48GB de memoria HBM3 y 1.5 TB/s de ancho de banda. El consumo nominal es de 180W, cerca de la mitad que aceleradores GPU comparables. Menos vatios por tarjeta significa más cómputo dentro de un presupuesto de energía fijo.

Furiosa-LLM es el motor de inferencia que corre sobre el hardware, y replica la API de vLLM además de un servidor compatible con OpenAI. Ejecutas furiosa-llm serve y apuntas tus apps al endpoint. Para los equipos, esto quiere decir que una aplicación escrita contra un endpoint de GPU puede migrar a menudo sin tocar el código de cliente.

El NXT RNGD es un servidor rackmount 4U llave en mano con 8 chips RNGD, 384GB de memoria de acelerador, 1TB de memoria de sistema DDR5, dos procesadores AMD EPYC 9354 y 4096 TFLOPS de rendimiento en FP8. Viene con Ubuntu 24.04 LTS y toda la pila de software de Furiosa preinstalada. Está pensado para equipos que quieren capacidad de inferencia sin buscar e integrar piezas por su cuenta.

SR-IOV divide un chip físico en 2, 4 u 8 instancias independientes, cada una con núcleos de cómputo dedicados y ancho de banda de memoria privado. Esto encaja en clústeres Kubernetes multiinquilino, donde varias cargas comparten hardware pero necesitan aislamiento y latencia estable. La memoria ECC y el arranque seguro añaden fiabilidad y una raíz de confianza en hardware.

El compilador de Furiosa planifica la asignación de memoria y la programación de instrucciones por adelantado, en lugar de depender de kernels ajustados a mano para cada modelo. Como el hardware es predecible, el compilador busca en un espacio acotado de formas y tácticas y arma un plan de ejecución para todo el grafo. Los modelos nuevos corren bien sin que alguien escriba kernels para cada uno.

El conjunto de herramientas cubre compilación, runtime y servicio: Furiosa Compiler, Furiosa Runtime y Furiosa-LLM. Hay aplicaciones de referencia para agentes y generación aumentada por recuperación publicadas en GitHub, así los desarrolladores parten de algo hecho en vez de un archivo en blanco. La pila se integra con clústeres Kubernetes y canalizaciones de servicio existentes.