Ultra AI

リクエストはすべて https://api.ultraai.app/v1 に集まる。公式OpenAI SDKは書き換えなしで動く。プロバイダーとモデルはコードではなくリクエスト側で指定する。このエンドポイントがあるから、プロバイダー変更は数分で終わり、スプリント1本にはならない。

プロンプトはリポジトリのファイルではなくダッシュボードに置く。編集し、版を残し、キーで参照する。文言の変更がデプロイに混ざらなくなる。指示文を毎日書き換えるチームほど効果が大きい。

モードは2つでほぼ足りる。同一リクエスト向けの完全一致キャッシュと、意味が同じプロンプト向けの類似度キャッシュだ。類似度のしきい値と有効期間は呼び出しごとに決められる。公式はAPI費用が最大10分の1になると説明するが、実際の削減幅はトラフィックの重複率しだいだ。

呼び出しごとに遅延、トークン数、費用、通ったルートが記録される。集計画面ではモデル別の支出とエラー率の推移が見える。自作ゲートウェイがだいたい省いてしまう可観測性の部分であり、ツールを手放さない理由もここにある。

複数モデルを優先順に並べておくと、失敗時に次のモデルへ切り替わる。プロバイダーのレート上限、タイムアウト、サービスエラーをカバーする。ユーザーが目にするのはエラー画面ではなく、少し遅い回答だ。

上限はリクエストに添えるユーザーIDに紐づき、回数と時間枠を組み合わせる。全体設定に触れずに特定アカウントだけ締められる。フリーミアム製品では、これが「厄日」と「請求書の驚き」を分ける。