OpenLIT
OpenLIT · 程式設計
OpenLIT 是一套以 OpenTelemetry 為基礎的開源平台，提供 LLM 可觀測性、評估與防護機制，讓你追蹤、評分並修正 AI 代理的行為。
關於 OpenLIT
About
什麼是 OpenLIT
OpenLIT 為 AI 應用鋪好可觀測性的底層。你把應用指向它，每一次模型呼叫、工具呼叫、檢索與代理步驟都會變成一條可讀的追蹤紀錄。平台把追蹤、評估、防護、提示詞管理與成本追蹤收在同一個地方。
它最大的賣點是可攜性。OpenLIT 寫入的是標準的 OpenTelemetry 資料，你可以留在內建儀表板，也能把同一批追蹤送到 Grafana、Datadog 或任何 OTLP 後端。你的遙測資料不會被鎖進特定廠商的格式，整套路徑也能在 Apache 2.0 授權下自行架設。
代價是 OpenLIT 屬於開發者工具。要用出價值，得接上 SDK 或 collector，遇到正式環境的流量還得自己維運儲存層。如果你想要一套裝好就能用的成品，這款並不適合。
開始使用
- 複製 OpenLIT 的儲存庫並執行
docker compose up -d，或把應用接到你既有的 OTLP 端點。 - 用
pip install openlit安裝 Python 版 SDK，或用npm install openlit安裝 TypeScript 版。 - 在程式碼開頭加上
openlit.init()，支援的模型供應商、框架與向量資料庫就會自動被埋點。 - 打開儀表板讀取第一批追蹤，接著隨著應用成長逐步設定評估、提示詞或防護規則。
產品資訊
快速了解 OpenLIT 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 開發 LLM 應用的工程師：OpenLIT 讓你用自己的程式碼拿到追蹤、成本與延遲資料，不必綁定廠商合約，設定也只要一行。
- 平台與 SRE 團隊：GPU collector 加上 AI 代理監控儀表板會呈現硬體與工具呼叫的行為，你就能在使用者回報前先抓到效能退步。
- 準備離開封閉可觀測性工具的團隊：OpenLIT 講 OpenTelemetry，你可以保留現有後端，免去整套重新埋點的工程。
任務
- 排查失敗的代理執行：沿著模型呼叫、工具呼叫與檢索的完整追蹤，找出迴圈是在哪裡斷掉的，不必在日誌裡瞎猜。
- 壓低模型支出：依模型、使用者與工作階段統計詞元用量與成本，在數字撐不起價格的地方換掉提示詞或模型。
- 上線前比較提示詞：在 OpenGround 把一則提示詞丟給多個模型測試，留下在真實輸入下最站得住的那一版。
- 在執行期攔下提示詞注入：防護機制會檢查即時流量，在可疑請求抵達模型前先擋下。
情境
- 讓 RAG 聊天機器人正式上線：用真實流量觀察檢索品質與回答相關性，而不是只看一批測試查詢。
- 在 CI 裡跑程式代理：抓下單次工作階段的檔案讀取、編輯與 shell 指令，稽核代理實際改了什麼。
- 緊盯訓練或推論期間的 GPU 成本：把 NVIDIA、AMD 或 Intel 顯卡的利用率、記憶體、溫度與功耗拉進和應用追蹤同一張畫面。
主要功能
原生 OpenTelemetry 追蹤
OpenLIT 把每一次 LLM 呼叫、工具呼叫、MCP 請求、檢索與代理步驟都記成標準的 OpenTelemetry 追蹤。你可以依使用者、工作階段、成本或延遲篩選，也能把同一批資料送到 Grafana、Datadog 或任何 OTLP 端點，而不是只能留在 OpenLIT 裡。這份可攜性正是團隊選擇它、而非封閉工具的主因。
自動埋點與零程式碼選項
只要加上 openlit.init()，支援的供應商、框架與向量資料庫就會被埋點，清單超過 50 項整合，涵蓋 OpenAI、LangChain、CrewAI 與 ChromaDB。面對 Claude Code、Codex、Cursor 這類程式代理，一支 CLI 就能裝好埋點，不必動到你的原始碼。
以 LLM-as-a-judge 進行評估
OpenLIT 會就幻覺、偏見、毒性、相關性、完整性與指令遵循等面向為輸出評分。這些檢查能跑在即時流量或實驗上，也能把 CI 流程綁在結果上，如此一來品質下滑會先擋住發布，而不是先讓使用者遇到。
具備版本控管的提示詞中樞
Prompt Hub 把提示詞集中存放，用 Major、Minor、Patch 標籤管理版本，並在執行期替換 {{variable}} 的值。你可以發布或回退提示詞而不必重新部署應用程式碼，文案調整因此脫離發布週期。
執行期防護機制
防護機制會在請求進來時檢查，針對提示詞注入、敏感主題與主題限制採取行動。規則由你設定，OpenLIT 在請求路徑上執行，於是你得到一層不依賴模型乖不乖的安全防線。
成本、延遲與 GPU 監控
平台跨模型、供應商、使用者、工作階段與代理追蹤支出與延遲，並支援自訂微調模型的價格。另一套 GPU collector 會從 NVIDIA、AMD 與 Intel 硬體拉出利用率、記憶體、溫度與功耗，讓成本與硬體壓力並列在同一個儀表板。
優缺點
優點
- 原生支援 OpenTelemetry，追蹤保持可攜，避開專有格式
- 在 Apache 2.0 授權下可免費自架，不需要授權金鑰，資料完全自持
- 支援的供應商一行就能接上，程式代理另有零程式碼選項
- 把可觀測性、評估、防護、提示詞與 GPU 監控收進單一平台
- 以 ClickHouse 為底的儲存能撐起高流量的 LLM 與代理遙測
缺點
- 它是為開發者打造的，非技術背景的使用者會覺得設定與觀念難以入手
- 想在正式環境的流量上自架，就得自己維運 ClickHouse 並確保它健康
- 功能範圍很廣，入門文件得花點時間讀完才能上手
- 與代管型 SaaS 不同，更新、擴充與備份都得自己扛
常見問題
OpenLIT 是一套開源平台，用來追蹤、評估與防護 AI 代理及 LLM 應用。它把模型呼叫、工具呼叫與檢索記成 OpenTelemetry 追蹤，再往上疊加評估、防護與提示詞管理。
相關內容
探索與 OpenLIT 相關的工具、技能與文章。
OpenLIT 替代方案
Udon
Udon · 程式設計 · 生產力Udon 把 Apple Silicon 的 Mac 變成 Mac 家庭伺服器，從瀏覽器就能管理容器與檔案共享，並可選擇啟用 AI 系統管理員。
offstage
offstage cloud · 程式設計 · 生產力offstage 給 AI 代理與 CI 工作一台真正的 Mac：Apple 晶片上的全新 macOS 27 帳號，用 API 操作，依秒計費。
BotBus
Chengdu Tuyang Tusen Technology Co., Ltd. · 程式設計 · 生產力BotBus 把電腦上執行的 AI 編碼代理帶到手機與手錶，讓你不在桌前也能核准指令、啟動任務、查看結果。