Retrace
Retrace · 程式設計
Retrace 是一套專為 AI 代理設計的執行重播引擎。它會記錄代理執行過程中的每一次模型呼叫、工具叫用、檢索與錯誤，然後讓工程師逐步重播那段執行。當某處壞掉時，你可以從出錯的那個 span 把執行分岔出來。改一個輸入或一個模型。接著重跑下游的所有步驟，看看這個修正實際上做了什麼。
關於 Retrace
Retrace 是什麼
Retrace 是一套為推出 AI 代理的團隊打造的除錯與驗證平台。你不必再讀日誌、猜測代理為什麼給出爛答案，而是把錄下來的執行當成一棵 span 樹打開。然後一路走過去，直到找出第一個失敗、偏移或回傳無依據結果的步驟。
這套產品針對一個明確的痛點。代理的行為不具確定性，所以在正式環境偶爾冒出的錯誤很難重現。Retrace 的解法是讓執行可以重播。你把執行錄下來一次。之後想重跑幾次就重跑幾次。
主要的限制在於適用範圍。Retrace 是開發者工具，不是免寫程式的產品，而且它假設你的代理跑在支援的 SDK 上，或是跟 OpenAI、Anthropic、Gemini 溝通。使用特殊技術堆疊的團隊，可能得手動為呼叫加上 instrument。另外，價格依 trace 量計算。量非常高的代理會很快把你推向更高的方案。
開始使用
- 安裝 SDK：Python 用
pip install retrace-sdk，TypeScript 用npm install retrace-sdk。 - 用
retrace.configure(api_key="rt_...")設定你的 API 金鑰。 - 用
@retrace.record裝飾器把你的代理函式包起來；如果之後想用串接分岔重播，就把resumable=True設好。 - 讓代理跑一次。送往 OpenAI、Anthropic、Gemini 的供應商呼叫會自動加上 instrument，所以 trace 不用額外費工就能錄到它們。
- 打開錄下來的 trace，檢視 span 樹，從第一個分歧的步驟分岔出來測試修正。
產品資訊
快速了解 Retrace 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 除錯正式環境代理失敗的 AI 工程師：Retrace 會重現一段執行，讓你隔離出第一個壞掉的步驟，而不是從日誌瞎猜。需要具備基本的 Python 或 TypeScript 能力。
- 為代理行為加上 CI 檢查的平台團隊：評估並設閘的能力會依準則為執行評分，並回傳通過或失敗的決定，所以代理的迴歸可以像其他測試一樣擋下部署。
- 評估代理是否已可上線的創辦人：免費方案每月涵蓋 1,000 筆 trace，足以在投入預算前先測試一個個人專案代理。
任務
- 重現不具確定性的失敗：錄一次執行，之後想重播幾次就重播幾次，不必等錯誤再次發生。
- 測試提示或模型的變更：分岔一個錄下來的 span，換掉輸入或模型，並串接重播下游路徑，看看完整效果。
- 出貨前驗證修正：證明修正會重跑失敗的執行，回傳已改善、已迴歸或未變，並指出第一個分歧的 span。
- 擋下失控的花費：強制預算會在下一次模型或工具呼叫前詢問是否允許，並依成本預算與迴圈偵測回傳允許、封鎖或保留。
情境
- 客戶回報一個錯誤答案，而你需要找出是哪次工具呼叫造成的：依語意搜尋 span，找出同一個失敗先前的發生紀錄。
- 一個提示微調悄悄弄壞下游步驟：串接重播會顯示這個變更究竟幫上忙，還是只是把問題搬走。
- 團隊想分享一份去識別化的錯誤範例：發布磁帶會把清理過的執行變成可互動、可分享的磁帶。
主要功能
執行錄製
Retrace 會把每一次模型呼叫、工具叫用、檢索與錯誤，連同輸入、輸出、成本與時間，記錄成一個 span。送往 OpenAI、Anthropic、Gemini 的供應商呼叫會自動加上 instrument，所以你不必逐一手動接線。結果就是你代理實際做過的事，一份完整且有結構的紀錄。不是片段的日誌。不是猜測。
分岔與串接重播
這是把 Retrace 跟單純的 AI 代理監控工具區分開來的能力。你在單一 span 上，用改過的輸入把一段錄下的執行分支出去，然後串接重播每一個下游步驟，讓整個代理沿著新路徑重新執行。它回答了一個日誌答不出的問題。如果我改這一件小事，更下面會壞掉什麼？
證明修正
在你改過提示、工具或模型之後，證明修正會重跑失敗的執行並回傳一個判定。你會得到三種結果之一：已改善、已迴歸或未變，外加第一個分歧的 span。它把「我覺得這樣修好了」變成可查核的結果。
給 CI/CD 的評估閘
評估並設閘的能力會依行為準則為錄下的執行評分，並為管線回傳通過或失敗的閘門決定。團隊可以在 CI 裡把行為檢查跟一般測試並行。偏掉的代理會在觸及使用者前被攔下。多代理評審偵測器從 Pro 方案起提供。
預算與護欄強制執行
在你的代理發出下一次模型或工具呼叫前，強制預算會詢問那次呼叫是否被允許。它依成本預算、迴圈偵測與延遲上限回傳允許、封鎖或保留。這就是你在失控迴圈或昂貴的花費暴衝發生之前擋下它的方式。而不是等帳單來了才處理。
跨 trace 的語意搜尋
搜尋 span 會對錄下的 span 與代理記憶執行語意搜尋，依語意而非精確文字找出某個行為、提示或失敗先前的發生紀錄。如果類似的錯誤三週前出現過，你不必記得確切措辭也能把它找出來。
代理記憶
Retrace 內建一套以 MCP 為基礎的記憶儲存，保存從先前代理執行中擷取的長期事實、偏好、修正與模式。代理可以依語意回想它們，這有助於讓行為跨工作階段保持一致，而不是每次重新學習同樣的修正。
已發布磁帶
發布磁帶會把清理過的執行變成可互動、可分享的磁帶。它對錯誤回報、示範與事後檢討很有用，而且每個方案都包含個資遮蔽。免費方案每月可發布 10 卷磁帶。
優缺點
優點
- 逐步重播讓不具確定性的代理失敗變得可重現，這正是多數日誌工具留而未解的核心問題。
- 分岔與串接重播拿單一變更對整條下游路徑做測試，所以副作用在觸及正式環境前就能看到。
- 對 OpenAI、Anthropic、Gemini 的自動 instrument 把設定工作縮到一個裝飾器和一把 API 金鑰。
- 免費方案是真的，不是試用：1,000 筆 trace、10 次分岔重播與個資遮蔽全都包含在內。
- CI 評估閘讓代理行為可以像一般程式碼一樣受測，附上管線能據以行動的通過或失敗結果。
缺點
- $29/mo 以下沒有自助方案可取得確定性的卡匣重播，所以單打獨鬥的開發者在免費方案裡的重播深度有限。
- 免費方案只保留 trace 7 天，且只給一個席位，無法滿足會共享 trace 的團隊。
- 支援僅限 OpenAI、Anthropic、Gemini 三家供應商，使用其他模型供應商的代理需要手動 instrument。
常見問題
Retrace 會記錄 AI 代理的執行並讓它們可重播。你把一段執行錄一次，之後重播它、在任何步驟分岔它、測試變更，都不必讓原本的失敗再次發生。
相關內容
探索與 Retrace 相關的工具、技能與文章。
Retrace 替代方案
Forefront
Forefront · 程式設計Forefront 是一個用來打造開源 AI 的網頁平台。你可以用自己的資料微調主流的開源語言模型、評估它們的表現，再透過 API 執行，或匯出後自行架設。想要封閉式平台的便利、卻堅持要自己擁有模型與資料的開發者，就是這裡的目標客群。
Startkit
StartKit.AI · 程式設計Startkit 是一套用來打造 AI SaaS 與 AI 包裝產品的樣板。可以把它想成一個 AI 新創樣板，把枯燥的部分都先接好了：驗證、Stripe 與 Lemon Squeezy 付款、用量限制、交易型電子郵件，以及一套能與 OpenAI、Anthropic、Groq 或 Llama 溝通的 AI API 啟動套件。你複製儲存庫、設定價格，然後專心在產品中使用者真正願意付費的部分。它建構於 React 與 Tailwind 之上的 Next.js，所以大部分的樣板程式碼對你來說並不陌生。
Testim
Tricentis · 程式設計Testim 是專為網頁、行動與 Salesforce 應用程式打造的 AI 測試自動化平台，用來建立並執行端到端測試。它靠機器學習在介面變動時維持測試穩定，團隊因此少花時間修補壞掉的定位器。對於一款今天就能開始使用的自動化測試工具來說，這表現不算差。你透過在瀏覽器錄製動作來建立測試，需要更多控制時再補上 JavaScript。對忙碌的 QA 團隊來說，這是個可靠的選擇。