ZenMux

このマルチモデルAPIのカタログには、OpenAI、Anthropic、Google、DeepSeekなどの主力モデルと低価格モデルが並ぶ。すべて同じ認証情報で呼べる。新モデルは公開から数日で追加されることが多く、各モデルページには供給元も書かれている。財布は1つで足り、ベンダーごとにチャージを繰り返す手間がなくなる。

ZenMuxは3つのAPI方言を話す。OpenAI互換のエンドポイントは主要なツール群をカバーし、AnthropicプロトコルはClaude前提のワークフローをそのまま残す。Vertex AI経由の経路はGoogle Cloudの構成に対応する。LangChain、LlamaIndex、Anthropic SDKを使っているチームはエンドポイントを替えるだけで移れる。コストとレイテンシの報告は、どのプロトコルでも同じ形だ。

すべての呼び出しは品質、レイテンシ、スループットの基準で検査され、外れた分は翌日にクレジットで補填される。クレジットは銀行口座ではなくZenMuxの残高に入る。将来の利用に対する割引と考えるのが実態に近い。印を付けた応答は匿名の失敗ケースとしても返るため、評価セットに合成データではなく実際の失敗を足せる。

Autoを有効にすると、ゲートウェイが各リクエストを読み、最も安く良い結果を出せると見込むモデルを選ぶ。判断材料はプラットフォーム全体の履歴性能だ。短い抽出なら安価なモデル、重い推論なら先端モデルへ振り分けられる。決定ログには何をなぜ選んだかが残り、結果が妙なときに原因を追える。

ほとんどのモデルは複数経路で供給され、人気モデルには予備容量も確保されている。ベンダーがレート制限をかけたり、エラーを返したり、地域単位で落ちたりしても、利用側のコードを変えずに予備へ切り替わる。リクエストは利用者に近いCloudflareのエッジノードで処理されるため、米国外のチームはネットワーク往復の分だけ遅延が縮む。

コンソールは入力トークン、出力トークン、最初のトークンまでの時間、スループット、請求額をリクエストごとに記録する。支出はプロジェクト、モデル、日付でまとめられ、同じプロンプトをモデル間で並べて品質の差を確かめられる。生のメタデータはAPIレスポンスにも含まれる。コストデータをダッシュボードの中に閉じ込めず、自社の集計に流し込める。