IonRouter

すでに OpenAI API と通信する言語やフレームワークならどれでも IonRouter と通信できる。既存クライアントを新しいベース URL に向け、新しいキーに差し替えるだけで、同じ呼び出しが書き直しなしに動き続ける。覚える新しい SDK も、リクエスト処理の作り直しも要らない。すでにホスト型モデルを使うチームにとって、これが移行のすべてだ。

IonAttention は Cumulus Labs 独自の推論スタックだ。複数のモデルを 1 基の GPU に多重化し、ミリ秒単位で入れ替え、変化するトラフィックに合わせて調整する。同社によれば、Qwen2.5-7B を載せた GH200 1 台で毎秒約 7,167 トークンに達し、一流の推論事業者の約 3,000 を上回るという。チームはこれを、同じシリコンから通常のホスト構成より多くの仕事を引き出す証拠だと位置づける。この数字は事業者の主張として受け取っておくといい。設計目標自体は本物で、遊休ハードウェアを減らし、トークンあたりのコストを下げることにある。

予約時間ではなく 100 万トークン単位で払う。何も動いていない間に GPU を温めておく料金はかからず、この一点がトラフィックを予測できない機能の予算の組み方を変える。急に膨らんで静まるワークロードでは、この価格の形は固定の予約よりたいてい優れる。コストは実際に提供した分に比例する。それだけだ。

自前のファインチューン、独自 LoRA、あらゆるオープンソースモデルを基盤上に配備でき、それぞれが共有キューではなく専用の GPU ストリームを得て秒単位で課金される。共有キューはレイテンシを読めなくする。製品が自社データに合わせたモデルに依存し、自前のクラスタを世話したくないなら、ここが効いてくる。

カタログは言語、視覚、画像、動画、音声のモデルに及ぶ。あるタスクの基準を満たす中で最も安いモデルを選び、本当に必要な作業にだけ高価な重量級を取っておける。フラッグシップには推論とコーディング向けの GLM-5、長文書向けの Kimi-K2.5、100 万トークンのコンテキストを持つ MiniMax-M2.5 がある。Qwen3-8B や GPT-OSS-120B のような安価な小型モデルは軽い仕事を担う。価格はモデル次第で 100 万トークンあたり数セントから数ドルまで幅がある。

IonRouter は NVIDIA Grace Hopper GPU 上で動き、同社は NVIDIA Inception プログラムに参加している。専用ストリームにより、あなたのトラフィックが他人とキューを共有してレイテンシを跳ね上げることはない。1 秒未満のコールドスタートが、セッション最初のリクエストでユーザーを待たせるのを防ぐ。