GoModel
ENTERPILOT · 程式設計
GoModel 是一款開源 AI 閘道，介於你的應用程式和你呼叫的每一個大型語言模型之間。它提供一組相容於 OpenAI 與 Anthropic 的 API，在 33 家供應商之間路由請求，並疊加快取、護欄、預算和逐次請求的用量追蹤。如果你一直把供應商切換和成本歸屬當成應用程式碼的問題，GoModel 會把這些邏輯搬進一個你自行掌控的單一自架執行檔。
關於 GoModel
GoModel 是什麼
GoModel 是閘道，不是模型。你在應用程式旁邊執行一個 Go 執行檔，把你現有的 SDK 指向它的基底網址，它就會處理同時與多家 LLM 供應商溝通時的麻煩部分。這個專案自稱「像 OpenRouter，但開源且自行架設」，這樣的說法很準確。OpenRouter 當成託管服務販售的路由與控制層，GoModel 以你能自行部署的軟體形式交給你。對於想找一套能在自家硬體上執行的 OpenRouter 替代方案的團隊來說，這就是一句話的賣點。
核心承諾是解耦。你的應用程式碼呼叫一個穩定的名稱，而該名稱背後真正的供應商和模型，透過調整設定而非重寫程式碼來替換。它確實可行。當某家供應商中斷時，備援會自動啟動。當同一個提示詞不斷進來時，完全比對的快取會更快、更便宜地回應它。
問題在於，自行架設意味著營運責任歸你。你要執行執行檔、設定供應商金鑰，並管理存放快取與稽核資料的儲存空間。沒有廠商會替你修補任何東西。基礎架構是你的。對於團隊裡沒人熟悉維運基礎架構的情況，這是實實在在的成本，不是附註。請為此預留時間。
開始使用
- 從專案的 GitHub 儲存庫取得專案，並依照安裝指南在你的環境中執行這個單一 Go 執行檔。
- 把你所用供應商的 API 金鑰，例如 OpenAI、Anthropic 或 Gemini，以環境變數形式加入。
- 開啟內建的後台介面，建立一個虛擬模型或別名，再把它對應到背後真正的供應商和模型。
- 把你應用程式的基底網址改成 GoModel 端點，並保留現有的 OpenAI 或 Anthropic SDK。
- 當流量流經閘道時，從儀表板觀察用量、預算和稽核記錄。
產品資訊
快速了解 GoModel 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 後端與平台工程師：任何已經在呼叫多個 LLM API、又厭倦為各家供應商寫專屬程式碼的人，前提是他們熟悉執行自架服務。
- DevOps 與基礎架構團隊：需要在團隊或租戶之間，集中控管 API 金鑰、預算和支出歸屬的人。
- 小型產品團隊：想要 OpenRouter 風格的路由，但不願讓流量經過第三方主機的開發者。
任務
- 供應商切換：藉由修改一項設定值，把工作負載從一個模型移到另一個，而不必重寫整合程式碼。
- 成本控制：透過完全比對的回應快取減少重複支出，並把每次請求路由到最便宜且能勝任的模型。
- 用量歸屬：當單一供應商的儀表板只顯示一個總數時，把 token 支出對應到特定團隊、租戶或功能。
- 護欄部署：在送出前用 LLM 注入系統提示詞或改寫訊息，並依供應商、模型或使用者路徑套用。
情境
- 執行一個需要在供應商中斷時自動容錯移轉的正式環境應用程式。
- 在事故後稽核請求，此時你需要執行階段的中繼資料來重建發生了什麼以及為何發生。
- 給每個團隊一把有範圍限制的虛擬金鑰，各自擁有預算和速率上限。
- 在早期研究和原型開發期間，於單一端點後面評估多個模型。
主要功能
一個 API 涵蓋 33 家供應商
GoModel 把 OpenAI、Anthropic、Gemini、Bedrock、Vertex、Azure、Groq、Ollama、vLLM 及其他供應商放在單一端點之後。總共 33 家。它維持與 OpenAI 和 Anthropic 請求格式的相容，所以你只要改基底網址、保留已經熟悉的 SDK 即可。它也會以輪詢方式在每家供應商的多把金鑰之間輪替，藉此分散負載，並縮小單一遭限流金鑰的影響範圍。
別名與虛擬模型
你對外發布像 smart-chat 這樣穩定的名稱，並在其背後重新對應真正的供應商和模型，完全不碰應用程式碼。這為什麼重要？團隊得到一個可預期的介面，而你則在底下做各種實驗。這個專案把這形容為設定變更，而非應用程式變更，這正是重點所在。
自動容錯移轉與負載平衡
當供應商回傳可用性錯誤時，GoModel 會容錯移轉到下一個模型或供應商，以退避方式重試，並用斷路器吸收不穩定的上游。它也能以加權輪詢把一個虛擬模型分散到多個目標，或讓依成本路由挑選能處理請求的最便宜模型。容錯移轉是自動的。這就是全部的吸引力。
有範圍的工作流程
快取、稽核、用量追蹤、預算、護欄和容錯移轉，全都是你能依供應商、模型或使用者路徑設定的開關。工作流程有版本控管，而且範圍最具體者優先，所以一條路由可以要求稽核記錄，另一條則跑得更精簡。這很靈活。這就是你如何把不同行為套用到不同團隊，而不必堆一堆條件邏輯。
送出前的護欄
GoModel 可以在請求送出前注入系統提示詞，或用 LLM 改寫訊息。這些步驟依序分組執行，平行群組則一起執行。這是一種集中強制語氣、封鎖特定內容或正規化輸入的方式，而不必要求每個服務自己做。重複的邏輯更少。
回應快取
完全比對快取會更快、更便宜地回傳相同的請求，所以同一個提示詞不會付兩次全額。這在代理迴圈和重試中最要緊，因為那裡的近乎重複呼叫會不斷累積，悄悄燒掉預算。小改變，真實的節省。
用量追蹤與稽核記錄
逐次請求的追蹤把支出對應到團隊、租戶和功能，超越供應商儀表板顯示的單一總數。稽核記錄和執行階段中繼資料讓每一次請求都可追溯，當備援啟動而沒人記得原因時，這正是你想要的。不必瞎猜。
單一執行檔搭配後台介面
這套閘道以單一 Go 執行檔形式提供，內建後台介面，以及能透過 SQLite、Postgres 或 MongoDB 隨你的工作負載擴充的儲存空間。Prometheus 指標和 SSE 串流都已內含，所以可觀測性的掛鉤從第一天就存在。沒有額外要加裝的東西。
優缺點
優點
- 自行架設且採用 MIT 授權，所以你的提示詞和供應商金鑰都留在你自己的環境裡。
- 單一組相容於 OpenAI 與 Anthropic 的 API 涵蓋 33 家供應商，把整合工作縮減到只改基底網址。
- 有範圍的工作流程讓你依供應商、模型或使用者路徑調整快取、稽核、預算和護欄。
- 自動容錯移轉和斷路器，讓單一供應商中斷不至於拖垮你的應用程式。
- 內建的用量追蹤和稽核記錄，不必額外工具就能回答「誰花了什麼」和「發生了什麼」。
缺點
- 自行架設意味著部署、升級和儲存都由你負責，對沒有基礎架構經驗的團隊來說是真實的工作。
- 付費的 Pro 功能另屬一個層級，所以完全代管的體驗並不包含在免費執行檔裡。
- 供應商直通在路徑上會保留自己的驗證和追蹤層，對習慣直接呼叫供應商的團隊來說多了一站。
常見問題
不會。GoModel 是閘道和路由器。它把你設定的供應商，例如 OpenAI、Anthropic 或 Gemini，的請求轉送出去，本身不提供模型。
相關內容
探索與 GoModel 相關的工具、技能與文章。
GoModel 替代方案
Forefront
Forefront · 程式設計Forefront 是一個用來打造開源 AI 的網頁平台。你可以用自己的資料微調主流的開源語言模型、評估它們的表現，再透過 API 執行，或匯出後自行架設。想要封閉式平台的便利、卻堅持要自己擁有模型與資料的開發者，就是這裡的目標客群。
Startkit
StartKit.AI · 程式設計Startkit 是一套用來打造 AI SaaS 與 AI 包裝產品的樣板。可以把它想成一個 AI 新創樣板，把枯燥的部分都先接好了：驗證、Stripe 與 Lemon Squeezy 付款、用量限制、交易型電子郵件，以及一套能與 OpenAI、Anthropic、Groq 或 Llama 溝通的 AI API 啟動套件。你複製儲存庫、設定價格，然後專心在產品中使用者真正願意付費的部分。它建構於 React 與 Tailwind 之上的 Next.js，所以大部分的樣板程式碼對你來說並不陌生。
Testim
Tricentis · 程式設計Testim 是專為網頁、行動與 Salesforce 應用程式打造的 AI 測試自動化平台，用來建立並執行端到端測試。它靠機器學習在介面變動時維持測試穩定，團隊因此少花時間修補壞掉的定位器。對於一款今天就能開始使用的自動化測試工具來說，這表現不算差。你透過在瀏覽器錄製動作來建立測試，需要更多控制時再補上 JavaScript。對忙碌的 QA 團隊來說，這是個可靠的選擇。