LLM Gateway
The Open Co · 其他
LLM Gateway 是開源 AI API 閘道，透過單一 OpenAI 相容端點把請求轉送到 40 家供應商的 250 多款模型，並加上容錯切換、快取與成本追蹤。
關於 LLM Gateway
What Is LLM Gateway
LLM Gateway 是介於你的應用程式與模型供應商之間的中介層。你把現有的 OpenAI SDK 指向單一基底網址，保留一組 API 金鑰，就能呼叫想要的模型。閘道會把請求轉給供應商，再以你的程式原本就預期的格式把回答送回來。
它解決的是供應商四散的問題。當專案同時碰到 OpenAI、Anthropic、Google 與一家開源模型代管商，你就得處理各自獨立的金鑰、SDK 與帳單。LLM Gateway 把這些收攏成單一介面，提供多供應商模型存取與模型路由，換模型變成改一段字串，而不是重寫程式。
它以 AGPLv3 開源，這對想把提示詞留在自家網路的人很重要。你可以用託管雲端，也能以 Docker、Compose 或 Kubernetes 把同一份程式當作自架 LLM 代理自己跑。代價是自架後，上線穩定度與更新都落到你的團隊身上，而免費方案也得靠社群支援。
Getting Started
- 登入儀表板，建立一個專案，複製它產生的 API 金鑰。
- 在 shell 或
.env檔裡把金鑰匯出成LLM_GATEWAY_API_KEY。 - 把 OpenAI SDK 的基底網址改成
https://api.llmgateway.io/v1，其餘程式不動。 - 用名稱呼叫模型，例如
gpt-4o，讓閘道自己挑供應商。 - 在儀表板看延遲、成本與供應商分布，流量成長後再補上快取或容錯切換。
產品資訊
快速了解 LLM Gateway 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 後端與平台開發者：把多家模型供應商接進同一個應用程式，已經不想再為每家維護一組金鑰與 SDK 的人。
- AI 產品團隊：需要每個專案的預算、支出上限與用量報表，又不想自己打造這套計量的團隊。
- 重視隱私的工程團隊：提示詞與回覆必須留在自家網路，因此想要自架選項的公司。
任務
- 換模型卻不重寫程式：改掉模型字串、保留原本的請求，幾分鐘內就能試一款更便宜或更快的模型。
- 撐過供應商故障：只指定模型名稱，第一家出問題時，閘道會改到另一家也提供該模型的供應商重試。
- 控管 AI 支出：追蹤各專案的詞元成本，在金鑰上設定用量與支出上限，並靠回應快取砍掉重複呼叫。
情境
- 在正式環境跑多供應商聊天機器人：依價格、延遲或可用度分流，供應商一有不穩就自動切換。
- 用免費模型做原型：先在免費方案與免費模型上起步，之後再把額度花在付費模型上。
- 把資料留在家裡：當提示詞不能離開自家網路，就把 AGPLv3 程式部署在自己的基礎設施上。
主要功能
One OpenAI-Compatible Endpoint
閘道說的是 OpenAI API 的格式，所以聊天補全、嵌入、影像、語音與轉錄都能沿用你現有的 SDK。你只改基底網址與模型名稱，其他不動。對已經在用 OpenAI SDK 的團隊來說，這就是移轉的全部。
Smart Routing and Automatic Fallback
請求可以依價格、延遲、吞吐量或可用度分流，也能用 供應商/模型 的寫法綁定特定供應商。模型路由的規則在這裡統一設定，只寫模型名稱的請求在首家失敗時會改到另一家也提供該模型的供應商重試。想看到乾淨的錯誤，可以用 X-No-Fallback: true 標頭擋掉這個行為。
Response Caching
重複的請求可以由 Redis 快取直接回應，省下相同提示詞的延遲與花費。供應商自己的快取控制也會一併傳遞，因此它的快取行為照舊。高流量的應用會先在帳單上看到效果。
Guardrails and PII Protection
閘道在邊緣執行提示詞注入防護、個人資料偵測與遮蔽、機密偵測，以及自訂規則引擎。政策跑在每個請求都會經過的同一個位置，而不是散在每個應用程式裡。處理敏感輸入的團隊因此只得到一個控管點。
Centralized Key Management
供應商金鑰以加密方式保存，並搭配帶有用量與支出上限及完整稽核軌跡的專案層級 API 金鑰。你可以輪換金鑰而不必碰應用程式碼。這項功能讓逐漸壯大的團隊不必再私下傳遞原始供應商金鑰。
Cloud or Self-Hosted Deployment
你可以用託管閘道，也能以 Docker、Compose 或 Kubernetes 在自家基礎設施上跑 AGPLv3 程式。自架免費，而且從路由到分析的一切運作方式都相同。抉擇最後只取決於你想讓誰負責上線穩定度。
優缺點
優點
- 單一 OpenAI 相容端點涵蓋 40 家供應商的 250 多款模型，換模型只要改一段字串。
- 自動的 LLM 容錯切換與重試讓請求在單一供應商被限流或故障時仍能完成。
- 回應快取與各金鑰的支出上限，讓你直接做 AI 成本追蹤。
- AGPLv3 核心可自架，提示詞與回覆因此能留在自家網路。
- 針對提示詞注入、個人資料與機密的防護跑在閘道上，而不是散在每個應用程式。
缺點
- 預付額度在供應商的詞元價格之外另有固定的 5% 平台費，所以託管使用的成本高於直接呼叫供應商。
- 自架把上線穩定度、更新與擴充都轉到自家團隊身上，代表實際的維運工作。
- 免費方案有額度限制且靠社群支援，正式團隊最後往往選擇付費或自架。
常見問題
它用來以單一 API 呼叫多款 AI 模型。你不必逐一整合 OpenAI、Anthropic、Google 與其他供應商，只要把請求送到一個 OpenAI 相容端點，路由交給閘道處理。
相關內容
探索與 LLM Gateway 相關的工具、技能與文章。
LLM Gateway 替代方案
Odyssey 3
Odyssey · 其他Odyssey-3 是 Odyssey 的基礎世界模型，能即時模擬物理，把一段文字提示變成可互動的環境，並套用到機器人、汽車與遊戲上。
JarvisCore
Prescott Data · 程式設計 · 生產力 · 其他JarvisCore 是開源的 Python 執行環境，讓 AI 代理在網格上以對等節點運作、從共用帳本認領任務，並透過零信任代理服務存取外部系統。
Clef
Cloudflare · 商業 · 其他Clef 是 Cloudflare 推出、可在 Workers AI 上執行的開源決策模型。它針對設定好的題目回傳校準後的機率而非生成文字，讓代理程式快速分類、分流並採取行動。