LLM Gateway
The Open Co · その他
LLM Gateway は、40 社のプロバイダーの 250 以上のモデルへ単一の OpenAI 互換エンドポイントでリクエストを振り分けるオープンソースの AI ゲートウェイだ。フェイルオーバー、キャッシュ、コスト追跡を備える。
LLM Gateway について
What Is LLM Gateway
LLM Gateway は、アプリとモデルプロバイダーの間に立つ中間層である。既存の OpenAI SDK を一つのベース URL に向け、API キーを一つだけ持ち、使いたいモデルを呼び出す。ゲートウェイがリクエストをプロバイダーへ転送し、コードがすでに想定している形式で応答を返す。
解決するのはプロバイダーの乱立だ。OpenAI、Anthropic、Google、そしてオープンウェイトのホスティング先が一つのプロジェクトに混ざると、キーも SDK も請求もばらばらになる。LLM Gateway はそれを、複数プロバイダーのモデルにアクセスするための一つのインターフェースにまとめる。モデルの差し替えは文字列の変更で済み、作り直しにはならない。
AGPLv3 のオープンソースなので、プロンプトを自社ネットワーク内に置いておきたい場合に効く。ホスティング版のクラウドを使うことも、同じコードをセルフホスト型の LLM プロキシとして Docker、Compose、Kubernetes で自分で動かすこともできる。代わりに、セルフホストでは稼働率と更新が自チームの担当になり、無料の枠はコミュニティサポートに頼ることになる。
Getting Started
- ダッシュボードにサインインし、プロジェクトを作成して、生成された API キーをコピーする。
- キーを
LLM_GATEWAY_API_KEYとしてシェルか.envファイルにエクスポートする。 - OpenAI SDK のベース URL を
https://api.llmgateway.io/v1に変え、既存のコードはそのまま残す。 gpt-4oのようにモデル名で呼び出し、プロバイダーの選択はゲートウェイに任せる。- ダッシュボードで遅延、コスト、プロバイダー別の内訳を見て、トラフィックが増えたらキャッシュやフェイルオーバーを足す。
AIツール情報
LLM Gatewayの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- バックエンドとプラットフォームの開発者
- AI プロダクトのチーム
- プライバシーを重視する開発チーム
タスク
- 作り直さずにモデルを替える
- プロバイダーの障害を乗り切る
- AI の支出を抑える
シーン
- 複数プロバイダーのチャットボットを本番で動かす
- 無料モデルで試作する
- データを社内に置く
主な機能
One OpenAI-Compatible Endpoint
この LLM ゲートウェイは OpenAI API の形式で話すため、チャット補完、埋め込み、画像、音声、文字起こしが既存の SDK でそのまま動く。LLM Gateway はオープンソース AI ゲートウェイであり、AI API ゲートウェイとして複数プロバイダーをまとめる。変えるのはベース URL とモデル名だけだ。OpenAI SDK をすでに使うチームにとって、これが移行のすべてである。
Smart Routing and Automatic Fallback
リクエストは価格、遅延、スループット、稼働率で振り分けられ、プロバイダー/モデル の形で特定のプロバイダーを固定できる。モデルルーティングでは、モデル名だけのリクエストが最初のプロバイダーで失敗すると、そのモデルを扱う別のプロバイダーで再試行される。きれいなエラーを見たい場合は X-No-Fallback: true ヘッダーでこの動作を止められる。
Response Caching
繰り返しのリクエストは Redis のキャッシュから返せるため、同一プロンプトの遅延と出費の両方が減る。プロバイダー側のキャッシュ制御もそのまま通すので、その挙動は保たれる。大量のトラフィックを抱えるアプリほど、請求で先に気づく。
Guardrails and PII Protection
ゲートウェイはプロンプトインジェクション対策、個人情報の検出とマスキング、機密情報の検出、独自のルールエンジンをエッジで適用する。ポリシーはすべてのリクエストが通る同じ場所で動き、各アプリに散らばらない。機密の入力を扱うチームは制御点を一つに集約できる。
Centralized Key Management
プロバイダーのキーは暗号化して保管し、利用量と支出の上限、完全な監査証跡を持つプロジェクト単位の API キーと組み合わせる。アプリのコードに触れずにキーをローテーションできる。成長するチームが生のプロバイダーキーを回し渡しせずに済む機能だ。
Cloud or Self-Hosted Deployment
ホスティング版のゲートウェイを使うことも、AGPLv3 のコードを Docker、Compose、Kubernetes で自社インフラ上に動かすこともできる。セルフホスト LLM プロキシは無料で、ルーティングから分析まで同じように動く。選択は、稼働率を誰に担わせるかに尽きる。
メリットとデメリット
メリット
- 単一の OpenAI 互換エンドポイントで 40 社の 250 以上のモデルをまかない、モデルの差し替えは文字列の変更で済む。
- 自動フェイルオーバーと再試行により、特定のプロバイダーが制限中でも停止中でもリクエストは生き残る。
- 応答キャッシュとキー単位の支出上限で、AI コスト管理を直接できる。
- AGPLv3 のコアはセルフホストでき、プロンプトと応答を自社ネットワーク内に保てる。
- プロンプトインジェクション、個人情報、機密への防御が各アプリではなくゲートウェイで動く。
デメリット
- 従量課金のクレジットには、プロバイダーのトークン料金に加えて一律 5% のプラットフォーム手数料が乗るため、マネージド利用はプロバイダー直叩きより高くつく。
- セルフホストは稼働率、更新、スケーリングを自チームに移すため、実際の運用負荷が生じる。
- 無料の枠は限られコミュニティサポート頼みなので、本番のチームは結局は有料化かセルフホストに落ち着く。
よくある質問
一つの API で多数の AI モデルを呼び出すために使う。OpenAI、Anthropic、Google などを個別に統合する代わりに、単一の OpenAI 互換エンドポイントへリクエストを送り、ルーティングはゲートウェイに任せる。
関連コンテンツ
LLM Gatewayに関連するツール、スキル、記事を探す。
LLM Gatewayの代替ツール
BinkBink
BinkBink · その他BinkBinkは無料のオンラインゲームプラットフォームであり、AIゲームメーカーでもある。短いテキストの説明を、誰でも遊べるブラウザゲームに変えられる。コミュニティが作った数百本のゲームにすぐ飛び込める。あるいは自分のアイデアを説明すれば、数秒で遊べて、そのまま友達と共有できる。自分のゲームを作りたい？プログラミングは要らない。エンジンの設定も、ダウンロードも、面倒なこともない。
Audiogen
Audiogen Inc. · その他Audiogenは、Audiogen Inc.が開発したAI音楽生成ツールだ。小さな研究チームが約2年半かけて自社の生成型音楽モデルを訓練し、その周りにWebインターフェースを設計した。このAI音楽ツールは単なるテキストボックスではなく、タイムラインを初心者に優しい生成型オーディオワークステーション（Generative Audio Workstation、略してGAW）へと変える。そこではインペインティング、延長、リミックス、ステム編集が、キャンバスに絵を描くように機能する。製品はまだベータ版で、アクセスは順番待ちリストか招待で行う。有料プランはまだ公開されていない。
Aiml API
AIMLAPI OÜ · その他Aiml APIは、OpenAI、Google、Anthropicなどの1000以上のモデルを1つのエンドポイントと1つの請求にまとめる統合AIモデルAPIだ。単一のOpenAI互換スキーマに対してコードを書き、モデル文字列を変えるだけでチャット、画像、動画、音声のモデルを切り替えられる。十数の事業者アカウントを使い分けずにマルチモデルへアクセスしたい開発者や小規模チームに向き、複数ベンダーを試すときに付きまとう請求の手間もなくす。1つの鍵ですべてをまかなえる。