FuriosaAI
FuriosaAI · Coding
FuriosaAI baut den NPU RNGD und den Server NXT RNGD, energieeffiziente KI-Inferenz-Hardware, die LLMs und multimodale Modelle über OpenAI-kompatible APIs betreibt.
Über FuriosaAI
What Is FuriosaAI
FuriosaAI ist ein südkoreanisches Chippunternehmen, das einen KI-Inferenzbeschleuniger baut, also die Hardware für den Teil der KI-Arbeit, der ein Modell an echte Nutzer ausliefert. Das aktuelle Produkt ist RNGD, ausgesprochen "renegade", ein NPU der zweiten Generation auf Basis der unternehmenseigenen Architektur Tensor Contraction Processor. Stellen Sie sich RNGD als NPU für LLM-Inferenz vor: Es fügt einem Rechenzentrum KI-Servekapazität hinzu, ohne den Stromverbrauch stark zu erhöhen.
Wo eine typische KI-GPU mehrere Hundert Watt pro Karte zieht, läuft RNGD mit 180 W und nennt trotzdem 512 TFLOPS in FP8 bei 48 GB HBM3-Speicher. FuriosaAI kombiniert den Chip mit einem Software-Stack, der dieselben APIs wie vLLM und OpenAI spricht, sodass eine Anwendung, die bereits auf einen GPU-Endpunkt zeigt, oft ohne Umschreiben umzieht. Das Unternehmen verkauft die Karte, einen schlüsselfertigen Server mit acht Karten namens NXT RNGD und Testzugang für Teams, die vor dem Kauf prüfen wollen.
Die Grenzen zählen, bevor Sie damit planen. Das ist Hardware für Rechenzentren, kein Cloud-Abo, das Sie auf einer Website abschließen, und für Bewertung oder Kauf sprechen Sie mit dem Team von FuriosaAI. RNGD deckt nur die Inferenz ab, trainiert also keine Modelle. Einige Zahlen weichen zwischen Produktseite und Herstellerdokumentation voneinander ab, und der Preis wird nicht veröffentlicht. Das Unternehmen hat echte Produktionseinsätze, aber seine Bibliothek fertiger Modelle und Werkzeuge ist viel kleiner als die CUDA-Welt rund um Nvidia.
Getting Started
- Beantragen Sie eine Teststellung über die Website von FuriosaAI und wählen Sie Bare-Metal-Zugang auf einem NXT RNGD Server oder einen OpenAI-kompatiblen API-Endpunkt.
- Installieren Sie den Software-Stack mit pip, beginnend mit
pip install furiosa-llmauf einer Maschine mit RNGD-Hardware. - Laden Sie Ihr Modell und starten Sie den Server mit
furiosa-llm serve [model], der einen OpenAI-kompatiblen Endpunkt auf Port 8000 bereitstellt. - Richten Sie Ihre bestehende Anwendung auf diesen Endpunkt, mit demselben Client-Code, den Sie für GPU-gestützte APIs nutzen.
- Messen Sie Durchsatz, Latenz und Leistung gegen Ihre eigenen Serviceziele und entscheiden Sie dann über den Produktivgang.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von FuriosaAI.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Cloud-Anbieter und Rechenzentrumsbetreiber
- Unternehmen mit strengen Datenregeln
- Teams für Grundlagenmodelle
- Softwareanbieter und Neoclouds
Aufgaben
- Sprachmodelle in Produktion bedienen
- Multimodale und Vision-Modelle betreiben
- Inferenzstrom und -kosten senken
- Eine GPU-Alternative vor der Entscheidung prüfen
- KI für mehrere Mieter ausrollen
Szenarien
- KI-Kapazität ohne mehr Strom ergänzen
- Eigene Modelle im Haus halten
- KI-Funktionen mit hohem Volumen
- Souveräne und regionale KI
Wichtigste Funktionen
Tensor Contraction Processor Architektur
RNGD nutzt den Tensor Contraction Processor, eine Architektur, die Tensorkontraktionen, die Mathematik hinter tiefem Lernen, direkt in Hardware ausführt. Eine Tensorkontraktion ist eine allgemeine Form der Matrizenrechnung, sodass der Chip viele Modellformen abdeckt und nicht nur Operationen fester Größe. FuriosaAI sagt, dieses Design halte die Rechenauslastung hoch, wenn Batchgröße und Modellstruktur sich ändern.
Hoher Durchsatz bei 180 W
Eine RNGD-Karte, eine KI-Beschleunigerkarte für den PCIe-Gen5-Steckplatz, liefert 512 TFLOPS in FP8, 512 TOPS in INT8 und 1024 TOPS in INT4, mit 48 GB HBM3-Speicher und 1,5 TB/s Bandbreite. Die Nennleistung liegt bei 180 W, etwa der Hälfte vergleichbarer GPU-Beschleuniger. Weniger Watt pro Karte bedeutet mehr Rechenleistung in einem festen Strombudget.
OpenAI- und vLLM-kompatible Software
Furiosa-LLM ist die Inferenz-Engine auf der Hardware, und sie bildet die vLLM-API samt OpenAI-kompatiblem Server nach. Sie starten furiosa-llm serve und richten Ihre Apps auf den Endpunkt. Für Teams heißt das: Eine Anwendung, die für einen GPU-Endpunkt geschrieben wurde, zieht oft ohne Änderung am Client-Code um.
NXT RNGD Server
Der NXT RNGD ist ein schlüsselfertiger 4U-Rackserver mit 8 RNGD-Chips, 384 GB Beschleunigerspeicher, 1 TB DDR5 Systemspeicher, zwei AMD EPYC 9354 Prozessoren und 4096 TFLOPS FP8-Leistung. Er kommt mit Ubuntu 24.04 LTS und dem vollständigen Furiosa-Software-Stack vorinstalliert. Er ist für Teams gedacht, die Inferenzkapazität wollen, ohne Teile selbst zu beschaffen und zu integrieren.
Mehrinstanz- und Virtualisierungsunterstützung
SR-IOV teilt einen physischen Chip in 2, 4 oder 8 unabhängige Instanzen, jede mit eigenen Rechenkernen und privater Speicherbandbreite. Das passt zu Kubernetes-Clustern mit mehreren Mietern, wo mehrere Workloads Hardware teilen, aber Isolation und stabile Latenz brauchen. ECC-Speicher und sicherer Start ergänzen Zuverlässigkeit und eine Hardware-Vertrauenswurzel.
Compiler mit präzisem Kostenmodell
Der Furiosa-Compiler plant Speicherzuweisung und Befehlsreihenfolge im Voraus, statt sich auf handabgestimmte Kernel pro Modell zu verlassen. Weil die Hardware vorhersagbar ist, durchsucht der Compiler einen begrenzten Raum aus Formen und Taktiken und baut einen Ausführungsplan für den gesamten Graphen. Neue Modelle laufen gut, ohne dass jemand Kernel für jedes einzelne schreibt.
Vollständiger Stack und Referenz-Apps
Das Werkzeugset deckt Kompilierung, Runtime und Serving ab: Furiosa Compiler, Furiosa Runtime und Furiosa-LLM. Referenzanwendungen für Agenten und abrufgestützte Generierung sind auf GitHub veröffentlicht, sodass Entwickler mit etwas Fertigem starten statt mit einer leeren Datei. Der Stack integriert sich in bestehende Kubernetes-Cluster und Serving-Pipelines.
Vor- und Nachteile
Vorteile
- Betreibt LLM- und multimodale Inferenz mit 180 W pro Karte, etwa der halben Leistung vergleichbarer GPU-Beschleuniger.
- Spricht OpenAI- und vLLM-kompatible APIs, sodass bestehende Anwendungen oft ohne Codeänderung umziehen.
- SR-IOV teilt jeden Chip in bis zu 8 isolierte Instanzen, was zu geteilten und Mehr-Mieter-Umgebungen passt.
- Die Teststellung bietet echte Hardware und einen API-Endpunkt, um vor dem Kauf gegen Ihre Serviceziele zu prüfen.
- Zu den Produktionsreferenzen zählen große koreanische Portale, eine betreibernahe Cloud und ein souveräner KI-Einsatz.
Nachteile
- Es ist Rechenzentrumshardware, die im Verkaufsgespräch verkauft wird, kein Selbstbedienungs-Cloudprodukt, sodass der Einstieg Planung und ein Angebot erfordert.
- RNGD deckt nur die Inferenz ab, Sie brauchen also weiterhin getrennte Hardware oder Dienste zum Trainieren oder Feintuning von Modellen.
- Die Softwarebibliothek ist viel kleiner als Nvidias CUDA-Stack, sodass ungewöhnliche Modelle oder eigene Kernel die Hilfe von FuriosaAI brauchen können.
- Die veröffentlichten Spezifikationen weichen an Stellen ab, etwa 180 W auf der Produktseite und 150 W in älterer Dokumentation, also bestätigen Sie die genauen Zahlen während der Teststellung.
Häufige Fragen
FuriosaAI stellt KI-Inferenzbeschleuniger her: den NPU RNGD, die Karte Furiosa RNGD PCIe und den Server NXT RNGD. Sie betreiben bereits trainierte Modelle und liefern sie an Nutzer aus, statt neue zu trainieren.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu FuriosaAI.
Alternativen zu FuriosaAI
Forefront
Forefront · CodingForefront ist eine Webplattform zum Bauen mit Open-Source-KI. Sie lassen sich führende Open-Source-Sprachmodelle mit eigenen Daten feintunen, ihre Leistung bewerten und sie über eine API ausführen oder exportieren, um sie selbst zu hosten. Entwickler, die den Komfort einer geschlossenen Plattform wollen, aber darauf bestehen, ihre Modelle und Daten zu besitzen, sind hier die Zielgruppe.
Startkit
StartKit.AI · CodingStartkit ist ein Boilerplate zum Bauen von KI-SaaS-Produkten und KI-Wrappern. Man kann es sich als KI-Startup-Boilerplate vorstellen, bei dem die langweiligen Teile schon verdrahtet sind: Authentifizierung, Zahlungen über Stripe und Lemon Squeezy, Nutzungslimits, transaktionale E-Mail und ein KI-API-Starter-Kit, das mit OpenAI, Anthropic, Groq oder Llama spricht. Man klont das Repository, setzt seinen Preis und kümmert sich um den Teil des Produkts, für den Menschen wirklich bezahlen. Es basiert auf Next.js über React und Tailwind, deshalb fühlt sich ein Großteil des Boilerplate-Codes schon vertraut an.
Testim
Tricentis · CodingTestim ist eine KI-gestützte Plattform für Testautomatisierung, mit der man End-to-End-Tests für Web-, Mobile- und Salesforce-Anwendungen baut und ausführt. Sie setzt auf maschinelles Lernen, um Tests stabil zu halten, wenn sich eine Oberfläche ändert, sodass Teams weniger Zeit mit der Reparatur kaputter Selektoren verbringen. Nicht schlecht für ein Tool für automatisierte Tests, das Sie heute schon nutzen können. Sie erstellen Tests, indem Sie Aktionen im Browser aufzeichnen, und fügen danach JavaScript hinzu, wenn Sie mehr Kontrolle brauchen. Für ein beschäftigtes QA-Team eine solide Wahl.