Phoenix AI
Arize AI · 程式設計
Phoenix AI 是 Arize 的開源 LLM 可觀測性平台。開發者可以追蹤、評估與除錯 LLM 應用，在本機或自行架設的環境執行都免費。
關於 Phoenix AI
About
Phoenix AI 是什麼
Phoenix AI 是 Arize 的開源平台，用來觀察與改善 LLM 應用。這個 AI 可觀測性平台會記錄一筆請求在應用裡怎麼流動，讓你為輸出打分，並保存有版本的文件資料集，方便你比較不同時間的變化。它和 Langfuse、LangSmith 屬於同一類工具，差別在於它是從頭到尾完整開源，沒有哪項功能被鎖在付費方案後面。
這個專案一開始是為了在 LLM 工作流出問題時看清內部狀況。聊天機器人答錯、檢索步驟撈到錯的文件、代理在同一步上打轉，Phoenix 會把那次執行變成一條看得懂的追蹤紀錄，接著讓你評估並追蹤修正結果。對正在出貨 AI 產品的團隊來說，這正是「靠猜」和「知道問題在哪」之間的差別。
最大的取捨在於掌控權。Phoenix 採自行架設，伺服器要你自己跑、升級要自己顧、基礎設施要自己準備。想要自動擴充、保證支援與合規文件的較大團隊，通常會升級到同一家廠商的託管產品 Arize AX。如果你的優先考量是把資料留在自家網路，這種自行架設正好就是重點。
如何開始
- 用
pip install arize-phoenix安裝套件，或直接執行uvx arize-phoenix serve跳過安裝步驟。 - 用
phoenix serve啟動伺服器，它會開在 6006 埠，一開始就能接收追蹤資料。 - 在專案資料夾執行
npx @arizeai/phoenix-cli setup來為應用加上監測，或手動接上 OpenInference SDK。 - 打開 Phoenix 介面、執行你的應用，即時看著追蹤資料進來；接著建立評估與資料集，追蹤各版本之間的品質。
產品資訊
快速了解 Phoenix AI 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- AI 與 ML 工程師：他們能在追蹤層級看清提示詞、檢索與工具呼叫，當代理出狀況而日誌又解釋不了時，這正是需要的東西。
- 後端與平台開發者：他們能透過 OpenTelemetry 加入追蹤，不必重寫整套技術堆疊，可觀測性因此能融入現有應用。
- 資料與評估團隊：他們建立資料集並跑 LLM 評估來衡量品質，然後比較各次執行，而不是用肉眼掃輸出。
- 資料規定嚴格的團隊：因為 Phoenix 自行架設，提示詞、追蹤資料與使用者資料都留在自家網路內。
任務
- 除錯 LLM 應用：LLM 追蹤會一步步顯示請求怎麼流動，讓你找到答案走偏的那一段。
- 為輸出品質打分：LLM 評估用模型來判斷回覆與檢索結果，把模糊的準確感變成可以追蹤的數字。
- 比較提示詞改動：Playground 與 Experiments 讓你測試新的提示詞或模型，看品質是不是真的提升了。
- 大規模管理提示詞：Prompt Management 為提示詞做版本與標籤，團隊推動改動時不會搞不清上線了哪些。
情境
- RAG 應用給出爛答案：追蹤能揭露問題出在檢索器還是生成器，修正才會下在對的地方。
- 代理在長任務上失敗：AI 代理除錯會顯示迴圈或工具呼叫卡在哪裡，而不是讓你憑空猜測。
- 受監管又不能把資料送出去的團隊：自行架設的 AI 可觀測性環境讓一切留在自家機房。
- 規模成長中持續調整評估的團隊：有版本的資料集與實驗，讓品質標準在每次發布之間都能重現。
主要功能
追蹤
追蹤以 OpenTelemetry 為基礎的監測，記錄 LLM 應用的執行過程。你會看到一筆請求的每個步驟，從提示詞、檢索到工具呼叫，攤開成一條能打開檢視的追蹤紀錄。這是多數人上門的原因，因為它回答了日誌答不出來的問題：這次執行究竟在哪裡偏掉。
評估
評估是開源 LLM 評估：它用 LLM 透過回覆與檢索評估來衡量應用表現。你不必一份份讀輸出，而是把評分器跑過一整批，拿回分數。當你需要比較應用的兩個版本、並證明其中一個確實更好而不只是不同，這就派上用場。
Datasets
Datasets 讓你建立有版本的範例集合，用於實驗、評估與微調。固定的資料集讓每次跑的輸入都一樣，於是分數變動反映的是應用而非測試。團隊用它來在產品推進時維持穩定基準。
Experiments
Experiments 追蹤提示詞、LLM 與檢索的改動。你把同一個資料集跑在新的設定上，並排比較結果。提示詞工程就是在這裡不再靠猜，開始變成可量測的事。
Playground
Playground 是提示詞工程環境，讓你改善提示詞、比較模型、調整參數，並重播被追蹤的 LLM 呼叫。它是為提示詞工作中動手的那部分打造的：試個變化、看輸出、留下有效的做法。重播真實追蹤紀錄，等於拿真正發生過的案例來測試。
Prompt Management
Prompt Management 以版本控制、標籤與實驗來處理提示詞改動。提示詞被當成程式碼看待，團隊能看清改了什麼、誰改的，品質下滑時還能回復。這樣的結構讓共享的提示詞庫不會走樣。
PXI (Phoenix Intelligence)
PXI 是內建在 Phoenix 裡的 AI 工程代理，協助除錯追蹤、反覆調整提示詞，以及在產品裡找路。它就像工具內建的助理，你可以請它解釋一條追蹤紀錄或建議提示詞微調，不必自己翻遍選單。
Remote MCP Server
Remote MCP Server 把 Claude Code、Cursor 與其他 MCP 用戶端接到你 Phoenix 實例的 /mcp 端點。你可以從那裡查詢追蹤、資料集與實驗，不必離開編輯器。這對已經在程式代理裡工作的團隊很合用。
優缺點
優點
- 開源又免費，沒有一項功能鎖在付費方案後面。
- 自行架設讓提示詞、追蹤資料與使用者資料留在自家基礎設施上。
- 追蹤透過 OpenTelemetry 與 OpenInference 保持廠商與語言中立，能配合多種技術堆疊。
- 開箱即用的支援涵蓋 LangGraph、LlamaIndex、CrewAI、DSPy 等框架，以及主要 LLM 供應商。
- 資料集與實驗把品質工作變成可重複的量測，而不是一次性的檢查。
- Remote MCP Server 讓程式代理直接查詢你的 Phoenix 資料。
缺點
- 自行架設代表團隊要自己跑伺服器、處理升級與準備擴充，多了維運工作。
- 吃重的評估任務與背景掃描跑在你自己的算力上，成本因此從訂閱轉到基礎設施。
- 沒有內建給非技術利害關係人的正式環境警示或儀表板；那些存在於託管產品 Arize AX。
- 功能範圍廣，上手要花時間，小專案一開始可能只需要追蹤。
常見問題
Phoenix 用來觀察、評估與除錯 LLM 應用。它追蹤一筆請求在應用裡怎麼流動，用 LLM 評估為輸出打分，並保存有版本的資料集，方便你比較變化。
相關內容
探索與 Phoenix AI 相關的工具、技能與文章。
Phoenix AI 替代方案
Forefront
Forefront · 程式設計Forefront 是一個用來打造開源 AI 的網頁平台。你可以用自己的資料微調主流的開源語言模型、評估它們的表現，再透過 API 執行，或匯出後自行架設。想要封閉式平台的便利、卻堅持要自己擁有模型與資料的開發者，就是這裡的目標客群。
Startkit
StartKit.AI · 程式設計Startkit 是一套用來打造 AI SaaS 與 AI 包裝產品的樣板。可以把它想成一個 AI 新創樣板，把枯燥的部分都先接好了：驗證、Stripe 與 Lemon Squeezy 付款、用量限制、交易型電子郵件，以及一套能與 OpenAI、Anthropic、Groq 或 Llama 溝通的 AI API 啟動套件。你複製儲存庫、設定價格，然後專心在產品中使用者真正願意付費的部分。它建構於 React 與 Tailwind 之上的 Next.js，所以大部分的樣板程式碼對你來說並不陌生。
Testim
Tricentis · 程式設計Testim 是專為網頁、行動與 Salesforce 應用程式打造的 AI 測試自動化平台，用來建立並執行端到端測試。它靠機器學習在介面變動時維持測試穩定，團隊因此少花時間修補壞掉的定位器。對於一款今天就能開始使用的自動化測試工具來說，這表現不算差。你透過在瀏覽器錄製動作來建立測試，需要更多控制時再補上 JavaScript。對忙碌的 QA 團隊來說，這是個可靠的選擇。