Arch
Katanemo · 聊天機器人 · 提示詞
Arch 現以 Plano 為品牌，是為打造代理式應用程式開發者提供的開源 AI 閘道與資料平面。它路由 LLM 流量、協調代理，並加入護欄。
關於 Arch
什麼是 Arch
Arch 是建構在 Envoy 上的 AI 原生代理伺服器，坐落於你的應用程式與它呼叫的 LLM 供應商之間。它最初是為提示與 API 整合而生的智慧型第 7 層閘道，之後成長為代理式應用程式的完整資料平面。這個專案如今以 Plano 之名發布，出自 Katanemo 同一個團隊，舊的 Arch 儲存庫會重新導向到那裡。
概念很簡單。當你把代理示範推上正式環境，最後會寫上一堆與產品邏輯毫無關係的管線程式碼：挑選正確代理的意圖分類器、抹平各家 API 怪癖的供應商轉接器，以及每個服務上你將永遠維護的追蹤掛鉤。Arch 把這些工作從你的程式碼庫抽出來，收進一層用 YAML 檔設定的行程外層。一個檔案。
它不是你要註冊的託管 SaaS。你安裝 CLI，在自己的機器或伺服器上執行，並提供自己的 API 金鑰。想在測試期間免費使用託管的模型路由層？Plano 系列模型跑在美國中部的共享區域，但正式流量得由你自己託管。
開始使用
- 確認你有 Python 3.10 或更新版本。Arch 原生支援 Linux（x86_64、aarch64）與 macOS Apple Silicon；Docker 為選用。
- 用
uv tool install planoai或pip install planoai安裝 CLI，然後確認它能執行。 - 寫一個
plano_config.yaml檔，列出你的模型供應商、代理與監聽器。 - 匯出你的供應商金鑰，例如
OPENAI_API_KEY與ANTHROPIC_API_KEY，或放進.env檔。 - 執行
planoai up plano_config.yaml啟動閘道，接著把請求送往它開出的本機連接埠。
產品資訊
快速了解 Arch 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 後端與平台工程師：Arch 把代理路由、模型存取與追蹤集中在一處，你就不必為每個推出的代理重造同一套中介軟體。
- 快速出貨的 AI 新創團隊：開源授權與免費自架讓小團隊不必簽供應商合約就能進入正式環境。
- 已採用 Envoy 的團隊：Arch 沿用這份代理知識，平台工程師能擴充既有閘道，而不必重學一套。
任務
- 把提示路由到正確的代理：用自然語言描述每個代理，讓協調模型決定由誰處理請求。
- 統一 LLM 存取：把多家供應商指向同一個相容 OpenAI 的端點，讓你的程式碼只跟一個介面溝通。
- 加入安全與審核：透過過濾器鏈掛上越獄防護與審核政策，而不是把手動檢查寫死。
- 擷取追蹤供評估：在每個代理上取得端到端的 OpenTelemetry span，無須手動埋點。
情境
- 多代理助理：一個旅遊助理在單一對話中，把天氣與航班問題路由到不同服務。
- 模型成本與延遲調校：當某項工作不需要頂尖模型時，在供應商或較小模型之間切換。
- 共享池的早期原型開發：在投入自有基礎設施前，先用免費託管的 Plano 模型測試代理。
主要功能
建構於 Envoy 之上
Arch 本質上是一個 Envoy AI 閘道。資料平面跑在 Envoy 上，那是支撐現代雲端基礎設施一大塊的代理。這點很重要。對已在營運 Envoy 的團隊來說，營運模式與擴充點都很熟悉。對其他人而言，代表路由與代理層經過實戰驗證，而非自家土砲。
以 LLM 路由器身分智慧路由
Arch 提供一個相容 OpenAI 的端點，一次把多家供應商擺在前面。你可以依精確模型名稱、依語意別名路由，或讓閘道依你陳述的偏好自動挑選。它像一台你靠設定而非寫程式來駕馭的輕量 LLM 路由器。換供應商只是改設定。不必重寫。應用程式碼一行都不動。
代理協調
別再手寫意圖分類器。你用自然語言描述每個代理做什麼，讓 Arch 的協調器決定提示該往哪去，這正是多數團隊低估的部分，因為手刻路由在你加入一個沒人預先規劃的代理時就會失靈。新增代理只要在設定加一行再重啟，路由程式碼完全不用改。不必重寫路由。只是一個新條目。
建構於 Envoy 之上
資料平面跑在 Envoy 上，那是支撐現代雲端基礎設施一大塊的代理。對已在營運 Envoy 的團隊來說，營運模式與擴充點都很熟悉。對其他人而言，代表路由與代理層經過實戰驗證，而非自家土砲。
護欄與過濾器鏈
過濾器鏈讓你在一處一致的位置掛上審核政策、越獄防護與記憶掛鉤，每個代理都自動繼承。政策寫一次就套用到所有代理，勝過把安全檢查散落在每個服務裡。安全就住在一個地方。重點就在這。
零程式碼可觀測性
Arch 擷取代理訊號以及 OpenTelemetry 追蹤與指標，你不必加任何埋點。用 planoai obs 看即時流量，或用 planoai trace 深入單一慢速請求，看是哪一跳吃掉了時間。請求很慢？一個指令告訴你原因。
模型敏捷度與 prompt target
除了路由，Arch 能透過 prompt target 把自然語言提示轉成結構化、經驗證的 API 呼叫。這項支援自 v0.4.22 起已因代理而淘汰，新專案應改走代理路徑，至於已依賴 prompt target 做確定性 API 呼叫的既有設定，目前仍可繼續運作。
語言與框架自由
你的代理維持為實作 OpenAI 聊天補全端點的單純 HTTP 服務。用 Python、JavaScript 或任何你喜歡的技術棧撰寫，Arch 在其外圍處理路由、排序與模型存取的迴圈，這意味著你永遠不必只因底層框架改變主意就重寫代理。
優缺點
優點
- 以 Apache 2.0 開源，沒有授權費，並可完整取用原始碼。
- 一個設定檔就取代手寫的意圖分類器、供應商轉接器與追蹤膠水。
- 與供應商無關的路由，讓你不用碰應用程式碼就能在模型間移動。
- 自動的 OpenTelemetry 追蹤省下相當一部分手動埋點工作。
- 原生執行，不需 Docker 或 Rust 工具鏈。安裝快速。
缺點
- 原生平台僅限 Linux 與 macOS Apple Silicon，Windows 使用者只能走 Docker 這條路。
- 沒有託管的正式環境方案，代表你得自行負責執行與擴充閘道。
- prompt target 已淘汰，照著舊教學走的人會走到死路。
- 免費託管的協調模型跑在美國中部共享區域，對延遲或資料敏感的團隊得提早自架。
常見問題
Arch 是坐落於你的應用程式與它呼叫的 LLM 供應商之間的 AI 閘道。它處理模型路由、多代理協調、護欄與追蹤，讓你把自己的產品邏輯留在自有程式碼中。它鎖定打造代理式應用程式的開發者，而非終端使用者。
相關內容
探索與 Arch 相關的工具、技能與文章。
Arch 替代方案
Emma AI
Emma AI · 商業 · 聊天機器人Emma AI 是一款免程式碼的 AI 助理建置工具，用來打造能從你自己商業資料中找答案的自訂助理。你把團隊原本就在用的工具接上去，像是 Slack、Notion、Google Sheets 或 Zendesk，也可以上傳文件，或讓 Emma 透過問答流程訓練助理。速度很快。你建立的每個助理都能限定給特定團隊、專案或工作流程，所以行銷助理和會計助理永遠看不到同一批來源。
Chatgbot
Chatgbot · 圖片 · 生產力 · 聊天機器人Chatgbot 是一個多模型 AI 聊天平台，把 OpenAI 的 GPT 模型、Anthropic 的 Claude Sonnet，以及 GLM、Qwen 等開源選項全部收在一個登入帳號之後。你不必在多個訂閱之間來回切換，而是能針對每段對話挑選模型、上傳 PDF 並對它提問、生成圖片、搜尋網路，全都在同一個介面與同一份會員資格裡完成。
Validator AI
ValidatorAI · 商業 · 聊天機器人Validator AI 是一款 AI 點子驗證工具，專為想在動手打造任何東西前先得到明確答案的創業者而設。你可以把它想成創業點子驗證器與 AI 創業導師的合體。你描述自己的創業、產品或小型商業構想，工具便會為它評分、分析競爭局勢、建議理想客群是誰，並指出下一步。它仰賴從數十萬場創業者工作階段蒐集來的行為資料。核心檢查免費。它適合單打獨鬥的創業者、獨立開發者，以及在最早階段測試構想的小團隊，不適合已經上線的公司。