FuriosaAI
FuriosaAI · Programmation
FuriosaAI conçoit le NPU RNGD et le serveur NXT RNGD, du matériel d'inférence IA économe qui fait tourner des LLM et des modèles multimodaux via des API compatibles OpenAI.
À propos de FuriosaAI
What Is FuriosaAI
FuriosaAI est une entreprise sud-coréenne de puces qui fabrique un accélérateur d'inférence IA, le matériel qui sert un modèle à de vrais utilisateurs. Son produit actuel est le RNGD, prononcé « renegade », un NPU de deuxième génération bâti sur l'architecture Tensor Contraction Processor de la société. Voyez le RNGD comme un NPU pour l'inférence de LLM : il ajoute de la capacité de service IA à un centre de données sans faire grimper la consommation.
Là où une GPU d'IA classique tire des centaines de watts par carte, le RNGD fonctionne à 180 W et annonce tout de même 512 TFLOPS en FP8 avec 48 Go de mémoire HBM3. FuriosaAI associe la puce à une pile logicielle qui parle les mêmes API que vLLM et OpenAI, si bien qu'une application déjà pointée vers un endpoint GPU migre souvent sans réécriture. L'entreprise vend la carte, un serveur clé en main de huit cartes nommé NXT RNGD, et un accès d'évaluation pour les équipes qui veulent tester avant d'acheter.
Les limites comptent avant d'organiser quoi que ce soit autour. C'est du matériel de centre de données, pas un abonnement cloud que vous souscrivez sur un site, et pour évaluer ou acheter, vous échangez avec l'équipe FuriosaAI. Le RNGD couvre uniquement l'inférence, donc il n'entraîne pas de modèles. Certains chiffres varient entre la page produit et la documentation du fabricant, et le prix n'est pas publié. L'entreprise a de vrais déploiements en production, mais sa bibliothèque de modèles et d'outils prêts reste bien plus petite que l'univers CUDA autour de Nvidia.
Getting Started
- Demandez une évaluation sur le site de FuriosaAI et choisissez un accès bare-metal sur un serveur NXT RNGD ou un endpoint d'API compatible OpenAI.
- Installez la pile logicielle avec pip, en partant de
pip install furiosa-llmsur une machine dotée de matériel RNGD. - Chargez votre modèle puis lancez le serveur avec
furiosa-llm serve [model], qui expose un endpoint compatible OpenAI sur le port 8000. - Pointez votre application actuelle vers cet endpoint, en gardant le même code client que pour les API sur GPU.
- Mesurez le débit, la latence et la consommation face à vos propres objectifs de service, puis décidez du passage en production.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de FuriosaAI.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Fournisseurs de cloud et exploitants de centres de données
- Entreprises à règles strictes sur les données
- Équipes de modèles de fondation
- Éditeurs et neoclouds
Tâches
- Servir des modèles de langage en production
- Faire tourner des modèles multimodaux et de vision
- Réduire la consommation et le coût d'inférence
- Valider une alternative au GPU pour l'inférence avant de s'engager
- Déployer de l'IA multi-locataire
Cas d'usage
- Ajouter de la capacité IA sans plus d'électricité
- Garder ses modèles propriétaires en interne
- Fonctions IA à fort volume
- IA souveraine et régionale
Fonctionnalités clés
Architecture Tensor Contraction Processor
Le RNGD repose sur le Tensor Contraction Processor, une architecture qui exécute les contractions tensorielles, les mathématiques derrière l'apprentissage profond, directement dans le matériel. Une contraction tensorielle est une forme générale de calcul matriciel, donc la puce couvre de nombreuses formes de modèles et pas seulement des opérations de taille fixe. FuriosaAI affirme que ce choix garde une utilisation de calcul élevée quand la taille de lot et la structure du modèle changent.
Haut débit à 180 W
Une carte RNGD, une carte accélératrice IA pour le slot PCIe Gen5, délivre 512 TFLOPS en FP8, 512 TOPS en INT8 et 1024 TOPS en INT4, avec 48 Go de mémoire HBM3 et 1,5 To/s de bande passante. La consommation nominale est de 180 W, environ la moitié d'accélérateurs GPU comparables. Moins de watts par carte, c'est plus de calcul dans un budget électrique fixe.
Logiciel compatible OpenAI et vLLM
Furiosa-LLM est le moteur d'inférence posé sur le matériel, et il reprend l'API de vLLM en plus d'un serveur compatible OpenAI. Vous lancez furiosa-llm serve et pointez vos applications vers l'endpoint. Pour les équipes, cela veut dire qu'une application écrite pour un endpoint GPU migre souvent sans toucher au code client.
Serveur NXT RNGD
Le NXT RNGD est un serveur rack 4U clé en main avec 8 puces RNGD, 384 Go de mémoire d'accélérateur, 1 To de mémoire système DDR5, deux processeurs AMD EPYC 9354 et 4096 TFLOPS de performance en FP8. Il arrive avec Ubuntu 24.04 LTS et toute la pile logicielle Furiosa préinstallée. Il vise les équipes qui veulent de la capacité d'inférence sans chercher et intégrer les pièces elles-mêmes.
Support multi-instances et virtualisation
Le SR-IOV découpe une puce physique en 2, 4 ou 8 instances indépendantes, chacune avec des cœurs de calcul dédiés et une bande passante mémoire privée. Cela convient aux clusters Kubernetes multi-locataires, où plusieurs charges partagent le matériel mais ont besoin d'isolation et d'une latence stable. La mémoire ECC et le démarrage sécurisé ajoutent de la fiabilité et une racine de confiance matérielle.
Compilateur à modèle de coût précis
Le compilateur Furiosa planifie l'allocation mémoire et l'ordonnancement des instructions à l'avance, au lieu de dépendre de kernels réglés à la main pour chaque modèle. Comme le matériel est prévisible, le compilateur explore un espace borné de formes et de tactiques et construit un plan d'exécution pour tout le graphe. Les nouveaux modèles tournent bien sans que quelqu'un écrive des kernels pour chacun.
Pile complète et applications de référence
L'ensemble d'outils couvre la compilation, le runtime et le service : Furiosa Compiler, Furiosa Runtime et Furiosa-LLM. Des applications de référence pour les agents et la génération augmentée par récupération sont publiées sur GitHub, donc les développeurs partent de quelque chose de fait plutôt que d'un fichier vide. La pile s'intègre aux clusters Kubernetes et aux pipelines de service existants.
Avantages et inconvénients
Avantages
- Fait tourner l'inférence LLM et multimodale à 180 W par carte, environ la moitié de la consommation d'accélérateurs GPU comparables.
- Parle des API compatibles OpenAI et vLLM, donc les applications actuelles migrent souvent sans changer de code.
- Le SR-IOV découpe chaque puce en jusqu'à 8 instances isolées, ce qui convient aux environnements partagés et multi-locataires.
- L'évaluation offre du matériel réel et un endpoint d'API, pour tester face à vos objectifs de service avant d'acheter.
- Les références de production incluent de grands portails coréens, un cloud proche des opérateurs et un déploiement d'IA souveraine.
Inconvénients
- C'est du matériel de centre de données qui se vend dans un échange commercial, pas un produit cloud en libre-service, donc démarrer demande de la préparation et un devis.
- Le RNGD ne couvre que l'inférence, donc il faut toujours du matériel ou des services à part pour entraîner ou affiner des modèles.
- La bibliothèque logicielle est bien plus petite que la pile CUDA de Nvidia, donc les modèles inhabituels ou les kernels maison peuvent nécessiter l'aide de FuriosaAI.
- Les spécifications publiées divergent par endroits, comme les 180 W de la page produit et les 150 W d'une documentation plus ancienne, donc confirmez les chiffres exacts pendant l'évaluation.
Questions fréquentes
FuriosaAI fabrique des accélérateurs d'inférence IA : le NPU RNGD, la carte Furiosa RNGD PCIe et le serveur NXT RNGD. Ils font tourner des modèles déjà entraînés, en les servant aux utilisateurs plutôt qu'en en entraînant de nouveaux.
Contenus associés
Découvrez des outils, des compétences et des articles liés à FuriosaAI.
Alternatives à FuriosaAI
Base Code
Base44 (Wix) · Programmation · ProductivitéBase Code est un environnement de développement cloud partagé signé Base44. Votre équipe décrit des modifications sur un dépôt GitHub dans le chat, les vérifie en aperçu et les renvoie sous forme de pull requests.
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
GitGlow
GitGlow · Programmation · ProductivitéGitGlow est un client Git de bureau qui place votre code et les modifications de vos agents IA dans une même revue, pour savoir ce qui quitte votre machine avant de livrer.