FuriosaAI
FuriosaAI · 程式設計
FuriosaAI 打造 RNGD NPU 與 NXT RNGD 伺服器，這套低耗電的 AI 推論硬體透過 OpenAI 相容 API 執行 LLM 與多模態模型。
關於 FuriosaAI
What Is FuriosaAI
FuriosaAI 是韓國的晶片公司，專門做推論用的 AI 加速器。推論就是把已經訓練好的模型送給真實使用者，是 AI 工作裡最常駐的那一段。目前的產品是 RNGD，讀作「renegade」，是第二代 NPU，架構是自家設計的 Tensor Contraction Processor。可以這樣理解：RNGD 就是一款 LLM 推論 NPU，替資料中心加上 AI 服務量能，卻不會讓耗電跟著暴衝。
一般 AI GPU 每張卡動輒數百瓦，RNGD 只吃 180W，卻仍標示 FP8 下 512 TFLOPS、搭配 48GB HBM3 記憶體。FuriosaAI 把晶片跟軟體堆疊綁在一起賣，這套軟體講的是跟 vLLM、OpenAI 一樣的 API，所以原本指向 GPU 端點的應用程式，通常不用重寫就能搬過來。公司賣三樣東西：這張卡、一台叫 NXT RNGD 的八卡整機伺服器，以及給想先試再買的團隊用的評估管道。
規劃之前，得先看清楚限制。這是資料中心等級的硬體，不是上網就能訂閱的雲端服務，評估或採購都要跟 FuriosaAI 的團隊談。RNGD 只做推論，不負責訓練模型。產品頁跟官方文件的部分數字對不上，價格也沒有公開。公司在生產環境確有實際部署，但可用的模型與工具數量，跟 Nvidia 的 CUDA 生態比起來小得多。
Getting Started
- 在 FuriosaAI 官網申請評估，選擇用 NXT RNGD 伺服器的裸機存取，或直接拿 OpenAI 相容的 API 端點。
- 在裝有 RNGD 硬體的機器上，用 pip 安裝軟體堆疊，從
pip install furiosa-llm開始。 - 載入模型，用
furiosa-llm serve [model]啟動伺服器，它會在 8000 埠開出 OpenAI 相容端點。 - 把現有應用程式指向該端點，用戶端程式碼沿用原本 GPU API 那一套即可。
- 拿吞吐量、延遲與耗電對照自家的服務目標，再決定是否導入正式環境。
產品資訊
快速了解 FuriosaAI 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 雲端供應商與資料中心營運商：RNGD 每張卡 180W 就能加上 AI 服務量能，固定的電力預算能塞進更多推論。報價與部署計畫得跟 FuriosaAI 談。
- 資料規範嚴格的企業：這張卡與伺服器讓模型在自己的防火牆後面運行，適合不能把資料送往公有雲的銀行、工業與公家機關。
- 基礎模型團隊：FuriosaAI 會跟你的工程師一起調量化與編譯器執行，讓大模型在長上下文視窗下穩定服務。這是一種貼身合作，不是自助式工具。
- 軟體廠商與新興雲端：如果你已經在 GPU 上跑 AI 應用，這套 OpenAI 相容堆疊讓你直接加上 RNGD 量能，不用重寫用戶端程式碼。
任務
- 在生產環境服務大型語言模型：RNGD 以高吞吐、低延遲處理 LLM 推論，那種全天候不關機的工作，例如搜尋摘要或助理服務。
- 執行多模態與視覺模型：這套架構涵蓋視覺網路與多模態模型，不只文字生成。
- 壓低推論耗電與成本：耗電大約是同級 GPU 加速器的一半，同一個機櫃每瓦能處理更多請求，長期營運成本就跟著降。
- 簽約前先驗證 GPU 替代方案：評估方案提供 OpenAI 相容端點與裸機硬體，讓你用真實工作負載測輸出品質與延遲。
- 部署多租戶 AI：SR-IOV 把一顆晶片切成最多 8 個隔離實例，各自擁有專屬頻寬，適合共用的 Kubernetes 叢集。
情境
- 在不增加電力的前提下擴充 AI：可用千瓦數已經到頂的資料中心，改加推論卡，而不是擴建電力。
- 把自有模型留在自家：金融業者把自家模型整個放在企業防火牆內運行。
- 高流量的消費級 AI 功能：大型入口網站在 RNGD 硬體上為數百萬使用者執行 AI 生成的摘要。
- 主權與區域 AI：政府與在地雲端業者自建推論量能，不再依賴外國 GPU 供應。
主要功能
Tensor Contraction Processor 架構
RNGD 採用 Tensor Contraction Processor，這套架構直接在硬體上執行張量收縮運算，也就是深度學習背後的數學核心。張量收縮是矩陣運算的一般形式，晶片因此能處理多種模型形狀，不只是固定大小的運算。FuriosaAI 說，這樣的設計在批次大小與模型結構變動時，仍能把運算使用率維持在高檔。
180W 下的高吞吐
一張 RNGD 卡是給 PCIe Gen5 插槽用的 AI 加速卡，提供 FP8 512 TFLOPS、INT8 512 TOPS、INT4 1024 TOPS，搭配 48GB HBM3 記憶體與 1.5 TB/s 頻寬。額定耗電 180W，大約是同級 GPU 加速器的一半。每張卡吃電更少，固定的資料中心電力預算裡就能塞進更多運算。
OpenAI 與 vLLM 相容軟體
Furiosa-LLM 是跑在硬體上的推論引擎，除了 OpenAI 相容伺服器，也照 vLLM 的 API 走。你執行 furiosa-llm serve，把應用程式指向端點就行。對團隊來說，這意味著針對 GPU 端點寫的應用，往往不用動用戶端程式碼就能搬過來。
NXT RNGD 伺服器
NXT RNGD 是整機出貨的 4U 機架伺服器，內含 8 顆 RNGD 晶片、384GB 加速器記憶體、1TB DDR5 系統記憶體、兩顆 AMD EPYC 9354 處理器，FP8 效能達 4096 TFLOPS。出廠預載 Ubuntu 24.04 LTS 與完整的 Furiosa 軟體堆疊。適合不想自己找料、自己整合，只想直接拿到推論量能的團隊。
多實例與虛擬化支援
SR-IOV 把一顆實體晶片切成 2、4 或 8 個獨立實例，各自有專屬運算核心與私有記憶體頻寬。這對多租戶 Kubernetes 叢集很實用，多個工作負載共用硬體，卻需要隔離與穩定延遲。ECC 記憶體與安全開機則補上可靠性與硬體信任根。
精準成本模型的編譯器
Furiosa 編譯器會預先規劃記憶體配置與指令排程，不靠每個模型各自手調的核心。硬體行為可預測，編譯器就能在有限的形狀與策略空間裡搜尋，為整張計算圖產生一份執行計畫。新模型不必等人寫核心，也能跑出好成績。
完整軟體堆疊與範例應用
工具鏈涵蓋編譯、執行與服務：Furiosa Compiler、Furiosa Runtime 與 Furiosa-LLM。代理與檢索增強生成的範例應用都發布在 GitHub，開發者有現成的起點，不必從空白檔案開始。這套堆疊能接上既有的 Kubernetes 叢集與服務管線。
優缺點
優點
- 以每張卡 180W 執行 LLM 與多模態推論，耗電約為同級 GPU 加速器的一半。
- 講 OpenAI 與 vLLM 相容的 API，現有應用程式通常不必改程式碼就能搬過來。
- SR-IOV 把每顆晶片切成最多 8 個隔離實例，適合共用與多租戶環境。
- 評估方案提供真實硬體與 API 端點，讓你買之前先對照自家服務目標。
- 生產案例涵蓋韓國大型入口網站、接近電信商的雲端，以及主權 AI 部署。
缺點
- 這是靠業務洽談成交的資料中心硬體，不是自助式雲端產品，起步需要規劃與報價。
- RNGD 只做推論，訓練或微調模型仍得另找硬體或服務。
- 軟體生態比 Nvidia 的 CUDA 堆疊小得多，冷門模型或自訂核心可能得靠 FuriosaAI 協助。
- 官方公布的規格有出入，例如產品頁寫 180W、較舊文件寫 150W，評估時務必確認實際數字。
常見問題
FuriosaAI 做的是 AI 推論加速器，包括 RNGD NPU、Furiosa RNGD PCIe 卡與 NXT RNGD 伺服器。它們執行已經訓練好的模型，把模型送給使用者，而不是訓練新模型。
相關內容
探索與 FuriosaAI 相關的工具、技能與文章。
FuriosaAI 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。