FuriosaAI
FuriosaAI · 코딩
FuriosaAI는 RNGD NPU와 NXT RNGD 서버를 만든다. OpenAI 호환 API로 LLM과 멀티모달 모델을 실행하는 저전력 AI 추론 하드웨어다.
FuriosaAI 소개
What Is FuriosaAI
FuriosaAI는 추론용 AI 추론 가속기를 만드는 한국 반도체 기업이다. 추론이란 학습을 마친 모델을 실제 사용자에게 전달하는 단계로, AI 작업에서 가장 오래 켜져 있는 부분을 맡는다. 현재 제품은 RNGD(‘레너게이드’로 읽는다)이며, 회사가 직접 설계한 Tensor Contraction Processor 아키텍처를 쓰는 2세대 NPU다. RNGD를 LLM 추론용 NPU라고 이해하면 쉽다. 데이터센터에 AI 처리 능력을 더하면서 전력 소모는 거의 늘리지 않는다.
일반적인 AI GPU가 장당 수백 와트를 쓰는 반면, RNGD는 180W로 동작하면서도 FP8 기준 512 TFLOPS와 48GB HBM3 메모리를 내세운다. FuriosaAI는 칩과 함께 vLLM, OpenAI와 같은 API를 쓰는 소프트웨어 스택을 묶어 제공한다. 이미 GPU 엔드포인트를 향하던 애플리케이션이라면 코드를 다시 쓰지 않고 옮겨가는 경우가 많다. 판매하는 것은 이 카드, 카드 8장을 담은 턴키 서버 NXT RNGD, 그리고 사기 전에 시험하려는 팀을 위한 평가 프로그램이다.
계획을 세우기 전에 한계를 먼저 보자. 이것은 데이터센터용 하드웨어이며, 웹사이트에서 가입하는 클라우드 서비스가 아니다. 평가도 구매도 FuriosaAI 팀과 이야기하며 진행한다. RNGD는 추론만 담당하므로 모델을 학습하지는 않는다. 제품 페이지와 공식 문서에서 일부 수치가 어긋나고, 가격은 공개되지 않았다. 실제 프로덕션 도입 사례는 있지만, 쓸 수 있는 모델과 도구의 수는 Nvidia의 CUDA 생태계보다 훨씬 적다.
Getting Started
- FuriosaAI 웹사이트에서 평가를 신청하고, NXT RNGD 서버의 베어메탈 접속이나 OpenAI 호환 API 엔드포인트 중 하나를 고른다.
- RNGD 하드웨어가 있는 장비에서
pip install furiosa-llm으로 소프트웨어 스택 설치를 시작한다. - 모델을 올리고
furiosa-llm serve [model]로 서버를 띄운다. 8000 포트에 OpenAI 호환 엔드포인트가 열린다. - 기존 애플리케이션을 그 엔드포인트로 돌린다. GPU API에 쓰던 클라이언트 코드를 그대로 쓸 수 있다.
- 처리량, 지연 시간, 전력을 자사 서비스 목표와 맞춰 보고 프로덕션 전환을 판단한다.
제품 정보
FuriosaAI의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 클라우드 사업자와 데이터센터 운영자
- 데이터 규정이 엄격한 기업
- 파운데이션 모델 팀
- 소프트웨어 벤더와 신생 클라우드
작업
- 프로덕션에서 대규모 언어 모델 서비스
- 멀티모달과 비전 모델 실행
- 추론 전력과 비용 절감
- 계약 전 GPU 대안 검증
- 멀티테넌트 AI 배포
활용 상황
- 전력을 늘리지 않고 AI 용량 확보
- 자체 모델을 사내에 두기
- 대규모 소비자 AI 기능
- 주권 AI와 지역 AI
주요 기능
Tensor Contraction Processor 아키텍처
RNGD는 Tensor Contraction Processor를 쓴다. 딥러닝의 토대가 되는 텐서 수축 연산을 하드웨어에서 직접 실행하는 아키텍처다. 텐서 수축은 행렬 연산의 일반형이라, 고정 크기 연산뿐 아니라 다양한 모델 형태를 처리한다. FuriosaAI는 배치 크기와 모델 구조가 바뀌어도 연산 활용률을 높게 유지한다고 말한다.
180W에서의 높은 처리량
RNGD 카드는 PCIe Gen5 슬롯용 AI 가속 카드로, FP8 512 TFLOPS, INT8 512 TOPS, INT4 1024 TOPS를 내고 48GB HBM3 메모리와 1.5 TB/s 대역폭을 갖춘다. 정격 전력은 180W로 비슷한 GPU 가속기의 절반 수준이다. 카드당 전력이 낮을수록 정해진 전력 예산에 더 많은 연산을 담는다.
OpenAI 호환과 vLLM 호환 소프트웨어
Furiosa-LLM은 하드웨어 위에서 도는 추론 엔진으로, OpenAI 호환 서버와 함께 vLLM API도 그대로 따른다. furiosa-llm serve를 실행하고 앱을 엔드포인트로 돌리면 된다. 팀 입장에서는 GPU 엔드포인트에 맞춰 쓴 앱을 클라이언트 코드 수정 없이 옮기는 경우가 많다는 뜻이다.
NXT RNGD 서버
NXT RNGD는 RNGD 칩 8개, 384GB 가속기 메모리, 1TB DDR5 시스템 메모리, AMD EPYC 9354 프로세서 2개, FP8 4096 TFLOPS 성능을 갖춘 4U 랙마운트 턴키 서버다. Ubuntu 24.04 LTS와 Furiosa 소프트웨어 스택 전체를 미리 설치해 출하한다. 부품을 직접 구해 통합하지 않고 추론 용량을 원하는 팀을 위한 제품이다.
멀티 인스턴스와 가상화 지원
SR-IOV는 물리 칩 하나를 2, 4, 8개의 독립 인스턴스로 나누고, 각각 전용 연산 코어와 사설 메모리 대역폭을 준다. 여러 워크로드가 하드웨어를 공유하면서 격리와 안정된 지연을 필요로 하는 멀티테넌트 Kubernetes 클러스터에 맞는다. ECC 메모리와 보안 부팅이 신뢰성과 하드웨어 신뢰 근원을 더한다.
정확한 비용 모델을 갖춘 컴파일러
Furiosa 컴파일러는 메모리 할당과 명령 스케줄을 미리 계획한다. 모델마다 손으로 튜닝한 커널에 기대지 않는다. 하드웨어 동작이 예측 가능하므로, 컴파일러는 형태와 전략의 제한된 공간을 탐색해 계산 그래프 전체의 실행 계획을 세운다. 새 모델도 누군가 커널을 쓰지 않아도 잘 돈다.
전체 소프트웨어 스택과 참조 앱
툴체인은 컴파일, 런타임, 서빙을 모두 아우른다. Furiosa Compiler, Furiosa Runtime, Furiosa-LLM이다. 에이전트와 검색 증강 생성용 참조 앱이 GitHub에 공개돼 있어, 개발자는 빈 파일이 아니라 동작하는 출발점에서 시작한다. 기존 Kubernetes 클러스터와 서빙 파이프라인에도 통합된다.
장단점
장점
- LLM과 멀티모달 추론을 카드당 180W로 돌려, 비슷한 GPU 가속기의 절반 수준 전력만 쓴다.
- OpenAI 호환과 vLLM 호환 API를 써서 기존 앱이 코드 변경 없이 옮겨가는 경우가 많다.
- SR-IOV로 칩마다 최대 8개 격리 인스턴스를 만들 수 있어 공유 환경과 멀티테넌트 구성에 맞는다.
- 평가 프로그램이 실물 장비와 API 엔드포인트를 제공해, 사기 전에 자사 서비스 목표와 맞춰 볼 수 있다.
- 프로덕션 사례에는 국내 대형 포털, 통신사에 가까운 클라우드, 주권 AI 도입이 포함된다.
단점
- 영업 협의로 판매되는 데이터센터 하드웨어라 셀프서비스 클라우드 제품이 아니다. 시작하려면 계획과 견적이 필요하다.
- RNGD는 추론만 담당하므로 모델 학습이나 미세 조정에는 별도 하드웨어나 서비스가 필요하다.
- 소프트웨어 자산이 Nvidia의 CUDA 스택보다 훨씬 적어, 특이한 모델이나 자체 커널은 FuriosaAI의 도움이 필요할 수 있다.
- 공개된 사양이 일부 어긋난다. 제품 페이지는 180W, 오래된 문서는 150W다. 평가할 때 정확한 수치를 확인하자.
자주 묻는 질문
FuriosaAI는 AI 추론 가속기를 만든다. RNGD NPU, Furiosa RNGD PCIe 카드, NXT RNGD 서버다. 모두 학습을 마친 모델을 사용자에게 전달하는 제품이며, 새 모델을 학습하지는 않는다.
관련 콘텐츠
FuriosaAI와 관련된 도구, 스킬, 아티클을 살펴보세요.
FuriosaAI 대안
Forefront
Forefront · 코딩Forefront는 오픈소스 AI로 무언가를 만드는 웹 플랫폼이다. 대표적인 오픈소스 언어 모델을 자신의 데이터로 미세 조정하고, 성능을 평가하고, API로 실행하거나 내보내 직접 호스팅할 수 있다. 폐쇄형 플랫폼의 편의를 원하면서도 모델과 데이터의 소유권은 놓지 않으려는 개발자가 대상이다.
Startkit
StartKit.AI · 코딩Startkit은 AI SaaS와 AI 래퍼 제품을 만들기 위한 보일러플레이트다. 지루한 부분을 미리 연결해 둔 AI 스타트업 보일러플레이트라고 생각하면 된다. 인증, Stripe와 Lemon Squeezy 결제, 사용량 제한, 트랜잭션 이메일, 그리고 OpenAI, Anthropic, Groq, Llama와 통신하는 AI API 스타터 키트가 포함된다. 저장소를 복제하고 가격을 정한 뒤 사용자가 실제로 돈을 내는 부분에 착수하면 된다. React와 Tailwind 위의 Next.js로 만들어졌기 때문에 보일러플레이트 코드의 상당 부분이 이미 익숙하게 느껴진다.
Testim
Tricentis · 코딩Testim은 웹, 모바일, Salesforce 애플리케이션 전반에 걸쳐 엔드투엔드 테스트를 만들고 실행하는 AI 기반 테스트 자동화 플랫폼이다. 머신러닝에 기대어 인터페이스가 바뀌어도 테스트를 안정적으로 유지하므로, 팀은 깨진 셀렉터를 고치는 데 쓰는 시간을 줄인다. 오늘부터 쓸 수 있는 자동화 테스트 도구치고 나쁘지 않다. 브라우저에서 동작을 녹화해 테스트를 만들고, 더 세밀한 제어가 필요하면 JavaScript를 더한다. 바쁜 QA 팀에게 탄탄한 선택이다.