IonRouter

이미 OpenAI API와 통신하는 언어나 프레임워크라면 무엇이든 IonRouter와 통신할 수 있다. 기존 클라이언트를 새 베이스 URL로 향하게 하고 새 키로 바꾸면, 같은 호출이 다시 쓰지 않고도 계속 작동한다. 배울 새 SDK도, 요청 처리를 다시 만들 필요도 없다. 이미 호스팅 모델을 쓰는 팀에게 이게 이전의 전부다.

IonAttention은 Cumulus Labs 자체 추론 스택이다. 여러 모델을 GPU 한 대에 다중화하고 밀리초 단위로 교체하며, 변하는 트래픽에 맞춰 조정한다. 회사에 따르면 Qwen2.5-7B를 올린 GH200 한 대가 초당 약 7,167 토큰에 이르러, 최상위 추론 사업자의 약 3,000을 앞선다. 팀은 이를 자사 엔진이 같은 실리콘에서 일반 호스팅 구성보다 더 많은 일을 끌어낸다는 증거로 내세운다. 이 수치는 사업자 주장으로 받아들이면 된다. 설계 목표 자체는 실제다. 유휴 하드웨어를 줄이고 토큰당 비용을 낮추는 것.

예약 시간이 아니라 100만 토큰 단위로 낸다. 아무것도 돌지 않는데 GPU를 따뜻하게 유지하는 요금은 없고, 이 한 가지 차이가 트래픽을 예측할 수 없는 기능의 예산을 짜는 방식을 바꾼다. 잠깐 폭증했다가 잠잠해지는 워크로드에는 이런 가격 구조가 고정 예약보다 대개 낫다. 비용은 실제로 제공한 만큼만 늘어난다. 그뿐이다.

자체 파인튜닝, 커스텀 LoRA, 혹은 어떤 오픈소스 모델이든 함대에 배포할 수 있고, 각각 공유 대기열 대신 자체 전용 GPU 스트림과 초 단위 과금을 받는다. 공유 대기열은 지연 시간을 예측 불가능하게 만든다. 제품이 자사 데이터에 맞춰 조정된 모델에 의존하고 자체 클러스터를 돌보고 싶지 않다면 이 점이 중요하다.

카탈로그는 언어, 비전, 이미지, 영상, 오디오 모델에 걸친다. 어떤 작업의 기준을 넘는 가장 저렴한 모델을 고르고, 값비싼 중량급은 정말 필요한 작업에 남겨 둘 수 있다. 플래그십으로는 추론과 코딩용 GLM-5, 긴 문서용 Kimi-K2.5, 100만 토큰 컨텍스트의 MiniMax-M2.5가 있다. Qwen3-8B와 GPT-OSS-120B 같은 저렴한 소형 모델은 가벼운 작업을 맡는다. 가격은 모델에 따라 100만 토큰당 몇 센트에서 몇 달러까지 다양하다.

IonRouter는 NVIDIA Grace Hopper GPU에서 돌고, 회사는 NVIDIA Inception 프로그램에 속한다. 전용 스트림 덕분에 당신의 트래픽이 낯선 이와 대기열을 공유해 지연을 튀게 하는 일은 없다. 1초 미만 콜드 스타트는 세션의 첫 요청이 사용자를 기다리게 하는 것을 막는다.