FuriosaAI
FuriosaAI · コーディング
FuriosaAIはRNGD NPUとNXT RNGDサーバーを開発する。低消費電力のAI推論ハードウェアで、OpenAI互換APIを通じてLLMとマルチモーダルモデルを動かす。
FuriosaAI について
What Is FuriosaAI
FuriosaAIは、推論用のAI推論アクセラレータを作る韓国の半導体企業だ。推論とは、学習済みのモデルを実際の利用者に届ける工程で、AIの仕事の中で最も長時間動き続ける部分にあたる。現行製品はRNGD（「レネゲード」と読む）で、同社独自のTensor Contraction Processorアーキテクチャを採用した第2世代NPUである。RNGDはLLM推論向けNPUだと考えると分かりやすい。データセンターにAIの処理能力を足しながら、消費電力はほとんど増やさない。
一般的なAI GPUが1枚あたり数百ワットを消費するのに対し、RNGDは180Wで動き、それでもFP8で512TFLOPS、48GBのHBM3メモリを掲げる。FuriosaAIはチップと、vLLMやOpenAIと同じAPIを話すソフトウェアスタックを組み合わせて提供する。すでにGPUエンドポイントを向いているアプリケーションなら、書き直しなしで移行できることが多い。販売するのはこのカード、8枚搭載のターンキーサーバーNXT RNGD、そして買う前に試したいチーム向けの評価プログラムだ。
前提を組む前に、制約を押さえておきたい。これはデータセンター向けハードウェアで、Webサイトから契約するクラウドサービスではない。評価も購入もFuriosaAIのチームと話を進める形になる。RNGDが担うのは推論だけで、モデルの学習はしない。製品ページと公式ドキュメントで数字が一部食い違い、価格も非公開だ。本番導入の実績はあるが、使えるモデルやツールの数はNvidiaのCUDAエコシステムよりずっと少ない。
Getting Started
- FuriosaAIのWebサイトで評価を申し込み、NXT RNGDサーバーのベアメタル環境か、OpenAI互換のAPIエンドポイントを選ぶ。
- RNGDハードウェアを載せたマシンで、
pip install furiosa-llmからソフトウェアスタックの導入を始める。 - モデルを読み込み、
furiosa-llm serve [model]でサーバーを起動する。ポート8000にOpenAI互換のエンドポイントが開く。 - 既存のアプリケーションをそのエンドポイントに向ける。GPU向けAPIで使っていたクライアントコードはそのまま流用できる。
- スループット、遅延、消費電力を自社のサービス目標と突き合わせ、本番移行を判断する。
AIツール情報
FuriosaAIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- クラウド事業者とデータセンター運営者：RNGDは1枚180WでAI処理能力を足せるため、決まった電力枠に多くの推論を詰め込める。見積もりと導入計画はFuriosaAIと詰める必要がある。
- データ管理が厳しい企業：カードとサーバーはモデルを自社ファイアウォールの内側で動かす。データをパブリッククラウドに送れない金融、産業、公共機関に向く。
- 基盤モデルのチーム：FuriosaAIは量子化とコンパイラ実行をエンジニアと一緒に調整し、大きなモデルを長いコンテキスト長でも安定して提供させる。腰を据えた協業であり、セルフサービスツールではない。
- ソフトウェアベンダーと新興クラウド：すでにGPUでAIアプリを提供しているなら、OpenAI互換スタックでクライアントコードを書き換えずにRNGDの能力を足せる。
タスク
- 本番で大規模言語モデルを提供する：RNGDはLLM推論を高スループット、低遅延で処理する。検索の要約やアシスタントのように24時間動き続ける仕事だ。
- マルチモーダルモデルと視覚モデルを動かす：このアーキテクチャは視覚ネットワークとマルチモーダルモデルも対象にする。テキスト生成だけではない。
- 推論の電力とコストを削る：同級のGPUアクセラレータのおよそ半分の消費電力なので、同じラックで1ワットあたり多くのリクエストを処理でき、長期的な運用コストが下がる。
- 契約前にGPU代替を検証する：評価プログラムではOpenAI互換のエンドポイントとベアメタル環境を用意し、実際の負荷で出力品質と遅延を試せる。
- マルチテナントのAIを展開する：SR-IOVで1つのチップを最大8つの隔離インスタンスに分け、それぞれに専用の帯域を割り当てる。共用のKubernetesクラスタに向く。
シーン
- 電力を増やさずAI処理能力を足す：使用可能なキロワットが上限に達したデータセンターは、電力設備を拡張せず推論カードを追加する。
- 自社モデルを社内に留める：金融機関が自社モデルを企業ファイアウォールの内側だけで動かす。
- 大規模な消費者向けAI機能：大手ポータルがRNGDハードウェア上で数百万人向けにAI生成の概要を動かす。
- 主権AIと地域AI：政府や地域のクラウド事業者が、外国製GPUの供給に頼らず自前の推論能力を構築する。
主な機能
Tensor Contraction Processorアーキテクチャ
RNGDはTensor Contraction Processorを採用する。テンソル収縮という、深層学習の土台にある計算をハードウェアで直接実行するアーキテクチャだ。テンソル収縮は行列演算の一般形なので、固定サイズの演算だけでなく多くのモデル形状に対応できる。FuriosaAIは、バッチサイズやモデル構造が変わっても演算の使用率を高く保てるとしている。
180Wでの高スループット
RNGDカードはPCIe Gen5スロット向けのAIアクセラレータカードで、FP8で512TFLOPS、INT8で512TOPS、INT4で1024TOPSを出し、48GBのHBM3メモリと1.5TB/sの帯域を備える。定格消費電力は180Wで、同級のGPUアクセラレータのおよそ半分だ。1枚あたりの消費が小さいほど、決まった電力枠に多くの演算を詰め込める。
OpenAI互換とvLLM互換のソフトウェア
Furiosa-LLMはハードウェア上で動く推論エンジンで、OpenAI互換サーバーに加えてvLLMのAPIも再現する。furiosa-llm serve を実行し、アプリをエンドポイントに向けるだけでよい。チームにとっては、GPUエンドポイント向けに書いたアプリがクライアント側を変えずに移行できることが多いという意味になる。
NXT RNGDサーバー
NXT RNGDは、8基のRNGDチップ、384GBのアクセラレータメモリ、1TBのDDR5システムメモリ、2基のAMD EPYC 9354プロセッサ、FP8で4096TFLOPSの性能を備えた4Uラックマウントのターンキーサーバーだ。Ubuntu 24.04 LTSとFuriosaソフトウェアスタック一式をプリインストールして出荷する。部品を自ら調達して組み込まずに、推論能力を手に入れたいチーム向けである。
マルチインスタンスと仮想化のサポート
SR-IOVで1つの物理チップを2、4、8の独立したインスタンスに分割し、それぞれに専用の演算コアとプライベートなメモリ帯域を割り当てる。複数のワークロードがハードウェアを共有しつつ、隔離と安定した遅延を必要とするマルチテナントのKubernetesクラスタに向く。ECCメモリとセキュアブートが信頼性とハードウェアの信頼の起点を補う。
正確なコストモデルを持つコンパイラ
Furiosaコンパイラはメモリ配置と命令スケジュールを事前に計画する。モデルごとに手作業で調整したカーネルには頼らない。ハードウェアの挙動が予測できるため、コンパイラは形状と戦略の限られた空間を探索し、計算グラフ全体の実行計画を組み立てる。新しいモデルでも、誰かがカーネルを書かなくてもよく動く。
充実したソフトウェアスタックとサンプルアプリ
ツールチェーンはコンパイル、ランタイム、提供のすべてを覆う。Furiosa Compiler、Furiosa Runtime、Furiosa-LLMの3つだ。エージェントと検索拡張生成のサンプルアプリがGitHubで公開されており、開発者は白紙のファイルではなく動く出発点から始められる。既存のKubernetesクラスタや提供パイプラインとも統合できる。
メリットとデメリット
メリット
- LLMとマルチモーダルの推論を1枚180Wで動かし、同級のGPUアクセラレータのおよそ半分の消費電力で済む。
- OpenAI互換とvLLM互換のAPIを話すため、既存アプリがコード変更なしで移行できることが多い。
- SR-IOVで各チップを最大8つの隔離インスタンスに分割でき、共用環境やマルチテナント構成に向く。
- 評価プログラムで実機とAPIエンドポイントを用意し、購入前に自社のサービス目標と突き合わせられる。
- 本番導入の事例には韓国の大手ポータル、通信事業者に近いクラウド、主権AIの導入が含まれる。
デメリット
- 商談を経て売られるデータセンター向けハードウェアで、セルフサービスのクラウド製品ではない。始めるには計画と見積もりが必要になる。
- RNGDが担うのは推論だけで、モデルの学習や微調整には別のハードウェアかサービスが要る。
- ソフトウェアの資産はNvidiaのCUDAスタックよりずっと小さく、珍しいモデルや独自カーネルはFuriosaAIの支援が必要になる場合がある。
- 公開仕様に食い違いがあり、製品ページは180W、古いドキュメントは150Wとなっている。評価の際は正確な数値を確認したい。
よくある質問
FuriosaAIはAI推論アクセラレータを作る。RNGD NPU、Furiosa RNGD PCIeカード、NXT RNGDサーバーの3つだ。いずれも学習済みのモデルを利用者に届けるもので、新しいモデルを学習するものではない。
関連コンテンツ
FuriosaAIに関連するツール、スキル、記事を探す。
FuriosaAIの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。