Edgee

Edgeeは、あなたが設定した予算とポリシーに基づいて各リクエストをルーティングし、あらゆるルールの背後に構成可能なプロバイダーの連鎖を保つ。あるプロバイダーが5xxエラーを返したりタイムアウトしたりすると、リクエストは失敗せずに次のモデルへ移る。支出上限に達すると、ルーティングはタスクの途中でオープンウェイトモデルへ切り替わるので、コーディングセッションは滞らず、リクエストはタスクを完全に諦めるのではなく、コーディング作業向けにベンチマークされたモデル上で続く。セッションは壊れない。これは長いリファクタリングの間でこそ重要だ。

ゲートウェイは冗長なトークンを2層で削る。入力圧縮はトークン量のおよそ99%を処理する。エージェントが読むものの再び必要とすることはまれな、ツール結果のペイロード、かさばるファイル内容、コマンド出力を削るからだ。一方、出力圧縮はより小さいが価値の高いモデル応答の流れを狙う。Edgeeはこれをコーディング作業にとって意味的に可逆と説明する。つまり、請求トークンを減らしつつ同じモデル出力が得られる。アプリケーションコードの変更は不要だ。

コストと使用量は、開発者ごと、リポジトリごと、PRごと、モデルごとに分解される。エンジニアリングリーダーは月次請求を待たずに支出をリアルタイムで見る。Teamプランは、開発者が上限に近づいたときのアラート付きの席ごとの支出上限を追加し、さらにリポジトリとPRの帰属のためのGitHub連携を加える。

Edgeeは固定月額でGLM、Kimi、MiniMaxをターボ速度で提供する。これらはルーティングポリシーがフォールバックするモデルであり、コーディングタスク向けにベンチマークされている。作業を仕上げるのに十分な品質を保つ、より安価な目標をチームに与える。

利便性のためにEdgeeのプロバイダーキーを使うことも、課金制御とカスタムモデルのために自分のキーを接続することもできる。Edgeeは、あなたがすでにプロバイダーへ支払っているトークンに上乗せを課さない。これによりBYOK構成はゲートウェイ側でコスト中立に保たれる。

同じゲートウェイが、Docker ComposeまたはHelmで自社インフラ内で動く。接続でもエアギャップでもよい。プロンプト、応答、プロバイダーキーはネットワークから出ない。これが、規制の厳しいチームにとって製品を使えるものにしている点だ。

カタログは、あらゆる主要プロバイダーのフロンティアモデルとオープンウェイトモデルに及び、ライブの価格とコンテキストサイズを備える。執筆時点で221のモデルと974のプロバイダールートを一覧し、そのいずれもルーティングルールの有効な対象だ。

アプリとエージェントは、別々のプロバイダーSDKをやりくりする代わりに、1つのEdgee APIを通じてLLMを呼べる。その経路の使用量はプラン不要の従量課金で、Edgeeクレジットをチャージする際に5%のプラットフォーム手数料で請求される。