LangWatch
LangWatch B.V. · 程式設計 · 行銷
LangWatch 是開源的 LLM 可觀測性平台，用來追蹤、測試與評估 AI 代理，並把 AI 閘道與提示詞管理放在同一個地方。
關於 LangWatch
What Is LangWatch
LangWatch 是 LangWatch B.V. 打造的開源 LLMOps 平台，公司總部在阿姆斯特丹。它處理四件平常散在不同工具裡的工作：LLM 追蹤、AI 代理測試、LLM 評估與提示詞管理。最上層還有一個 AI 閘道，每次模型呼叫都能走同一個端點，並附上對應的預算。
專案在 2023 年 9 月以開源形式公開，核心至今仍是 Apache 2.0 授權。你可以用 Docker 或 Helm 把平台架在自己的基礎設施上，LangWatch Cloud 跑的是同一份程式碼。企業版功能如多來源的 AI 治理與異常偵測，放在另外授權的目錄裡，需要付費方案才能啟用。
它補的是可見度的缺口。代理上線之後，一個爛答案很少會自己附上原因。你得知道是哪一次工具呼叫失敗、哪一次檢索兩手空空回來，以及整段對話花了多少錢。LangWatch 把每一步存成追蹤紀錄，讓你重新播放整個流程。代價是這終究是開發者工具：團隊裡要有人看得懂 span、寫得出測試，產品經理獨自作業時沒有免寫程式的路徑。
開始使用
- 在 app.langwatch.ai 建立專案。Developer 方案不需要信用卡。
- 用 Python 或 TypeScript SDK 接上應用程式，或把 OpenTelemetry 的 exporter 指向資料接收端點。LangChain、LangGraph、CrewAI、Mastra 與 Pydantic AI 都不必改寫就能送出追蹤資料。
- 讓代理跑一次，打開追蹤檢視，檢查 span、Token 數、延遲與整段對話。
- 加上評估器或模擬使用者情境，在 CI 裡依分數擋下合併。
- 想把版本控制與 A/B 測試搬到程式碼之外時，把提示詞移進提示詞管理介面。
產品資訊
快速了解 LangWatch 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 要把代理推上線的 AI 工程師：SDK 幾分鐘就裝好，追蹤檢視能回答以前得靠 print 慢慢猜的問題。前提是你讀得懂 span，也跑得動程式碼。
- 中型公司的平台團隊：一個帳號涵蓋追蹤、評估、提示詞與閘道預算，等於取代三四套零散工具與各自的合約。
- 盯著 AI 支出的工程主管：依使用者與團隊拆分的成本，能看出哪個助理、哪個模型或哪個儲存庫吃掉預算。免費方案只給兩個使用者。
任務
- 查一個答錯的回覆：打開追蹤，從檢索一路沿著 span 樹看到模型回應，找出上下文在哪一步消失。
- 上線前的回歸測試：用資料集跑一次離線實驗，跟上一輪比較，分數掉下來就擋住合併。
- 比較提示詞版本：把提示詞納入版本控制，用同一批輸入跑兩個版本，並排讀品質、成本與延遲的差異。
- 稽核程式助理的用量：把 Claude Code、Codex 或 Copilot 的工作階段收進同一個儀表板，看每位工程師的 Token 與花費。
情境
- 代理在某類客群特別容易出錯：用使用者 ID 或主題叢集篩選追蹤，重播失敗的對話，再把它變成每次部署都跑的情境。
- 供應商一夜之間調價：把那個模型導向 AI 閘道，比較各家的單次請求成本，不動程式碼就搬走流量。
- 受監管的導入需要自架：在自己網路裡跑 Apache 2.0 核心，再透過企業方案補上 SSO、RBAC 與稽核紀錄。
主要功能
跨框架的 LLM 追蹤
每次模型呼叫、工具呼叫、檢索與評估都會變成追蹤裡的一個 span，代理執行時還有巢狀 span 與執行圖可看。Token 與成本依供應商、提示詞與模型自動計算。追蹤會用 thread id 聚成工作階段，你讀到的是一整段對話，不是一則孤立請求。文字、圖片與音訊內容同樣會被記錄，代理處理截圖或語音訊息時特別有用。
用模擬使用者測試 AI 代理
AI 代理測試從一份寫好的情境開始，由 LLM 扮演使用者，依情境生成像真人的訊息。整輪測試涵蓋多輪對話，不是單一提示詞。評審代理會替每個回合打分，也能在任何時點判定通過或失敗。工具呼叫驗證會確認整段對話裡該呼叫的工具在正確時機出現。視覺化工具能逐步重播執行過程，也能中途暫停加註。語音測試支援 ElevenLabs、OpenAI Realtime、Twilio、Pipecat 與 Gemini Live，並提供首字延遲、p50 與 p95 延遲，還能注入背景噪音與插話。對抗測試用 Crescendo 升級與拒答偵測，在使用者發現之前先找出弱點。
實驗與線上流量的 LLM 評估
內建評估器涵蓋 RAGAS 指標、幻覺、毒性、個資偵測，以及以 LLM 擔任評審的評分。離線實驗可以從 SDK 發動，也能用介面上的無程式精靈執行，跑完再依品質、成本與延遲比較各輪結果。線上監控會替正式流量打分，品質下滑時發出警示。評分對象可以是整條對話串，也可以是單一訊息，支援客服機器人與多步驟代理。資料集能從真實追蹤建立、用 AI 生成，或上傳含圖片的樣本，人工複核則集中在標註收件匣。自訂評估器定義一次就能跨專案共用，同一套檢查也能內嵌成護欄。
依團隊編列預算的 AI 閘道
單一端點同時支援 OpenAI 與 Anthropic 的 API，並用你自己的金鑰路由到 OpenAI、Anthropic、Google、Bedrock、Mistral 或其他供應商。每個呼叫方拿到一把虛擬金鑰，預算可依人員、團隊或終端客戶設定。官方說額外開銷是 11 微秒。經過閘道的請求都會變成同一個專案裡的追蹤，SDK 流量與閘道流量因此擺在一起。
具版本控制的提示詞管理
提示詞是帶有訊息、輸入與設定的結構化物件，可從程式碼、介面或 API 編輯。Liquid 樣板提供變數與邏輯。GitHub 同步讓團隊像審 pull request 一樣審提示詞變更，標籤則區分預備環境與正式版本。Playground 能跨模型並排比較版本，A/B 測試回報每個版本的品質、成本與延遲。提示詞一有變動，webhook 與 Slack 就會通知。
程式助理用量與 AI 治理
一行指令 npx langwatch claude，就把 Claude Code、Codex、Copilot、Gemini CLI 與 opencode 拉到同一套觀測標準。工作階段會顯示每位工程師、每個儲存庫的 Token、成本與快取用量，回答 AI 錢到底花在哪裡。AI 治理部分再加一份清單，列出公司正在使用的工具與供應商，對活動設異常規則，並提供安全審查用的稽核紀錄。
優缺點
優點
- 開源核心：Apache 2.0 平台用 Docker 或 Helm 跑在你自己的 ClickHouse 上，追蹤資料不必離開內網。
- 一個帳號四種工具：追蹤、代理測試、評估與提示詞共用同一批追蹤，省掉在不同廠商之間複製貼上。
- 框架覆蓋廣：LangChain、LangGraph、CrewAI、Mastra、Pydantic AI、Vercel AI SDK 與原生 OpenTelemetry 都能送出追蹤，不必改寫代理。
- 免費方案真的能用：每月五萬筆事件、兩個使用者、14 天資料保留，不收費也不要求信用卡，做原型夠了。
- 閘道保住主控權：供應商金鑰與個人預算留在自己帳號，每次經過閘道的呼叫都自動留下追蹤。
缺點
- 本質是開發者工具：沒有拖曳就能建代理的路徑，設定評估也預設你會寫 Python 或 TypeScript。
- 用量計費要盯著：Growth 含 20 萬筆事件，之後每 10 萬筆收 5 歐元；一個會呼叫工具又做檢索的代理，消耗速度遠高於單純的聊天機器人。
- 自架要自己維運：ClickHouse 與平台都跑在你這邊，升級也得自己來，除非購買企業支援。
- 治理與 SSO 只在企業版：自訂 SSO、RBAC、稽核紀錄與資料遮罩都不在 Growth，受監管團隊得談到企業約才能用。
常見問題
LangWatch 是觀測、測試與評估 LLM 應用的開源平台。它記錄代理追蹤、執行模擬對話、替回覆品質打分，並在同一個儀表板管理提示詞版本。
相關內容
探索與 LangWatch 相關的工具、技能與文章。
LangWatch 替代方案
Forefront
Forefront · 程式設計Forefront 是一個用來打造開源 AI 的網頁平台。你可以用自己的資料微調主流的開源語言模型、評估它們的表現，再透過 API 執行，或匯出後自行架設。想要封閉式平台的便利、卻堅持要自己擁有模型與資料的開發者，就是這裡的目標客群。
Startkit
StartKit.AI · 程式設計Startkit 是一套用來打造 AI SaaS 與 AI 包裝產品的樣板。可以把它想成一個 AI 新創樣板，把枯燥的部分都先接好了：驗證、Stripe 與 Lemon Squeezy 付款、用量限制、交易型電子郵件，以及一套能與 OpenAI、Anthropic、Groq 或 Llama 溝通的 AI API 啟動套件。你複製儲存庫、設定價格，然後專心在產品中使用者真正願意付費的部分。它建構於 React 與 Tailwind 之上的 Next.js，所以大部分的樣板程式碼對你來說並不陌生。
Testim
Tricentis · 程式設計Testim 是專為網頁、行動與 Salesforce 應用程式打造的 AI 測試自動化平台，用來建立並執行端到端測試。它靠機器學習在介面變動時維持測試穩定，團隊因此少花時間修補壞掉的定位器。對於一款今天就能開始使用的自動化測試工具來說，這表現不算差。你透過在瀏覽器錄製動作來建立測試，需要更多控制時再補上 JavaScript。對忙碌的 QA 團隊來說，這是個可靠的選擇。