Relari: Testing and Simulation Stack for GenAI Systems
Relari, Inc. · 程式設計 · 聊天機器人
Relari 是為生成式 AI 系統打造的測試與模擬平台，用合成測試資料搭配模組化的 LLM 評估指標，讓使用者在遇到問題之前就先找出管線的破口。
關於 Relari: Testing and Simulation Stack for GenAI Systems
About
Relari 是什麼
Relari 是一套給生成式 AI 應用使用的測試與模擬工具，由 Relari, Inc. 開發，這家新創來自 Y Combinator 2024 年冬季梯次。它的想法很好懂。自駕車團隊不會等車子在真實道路上撞了才發現錯誤，而是先跑完幾百萬公里的模擬里程。Relari 把同一套邏輯搬到 LLM 應用上：先造出車流，讓管線跑一遍，再替出錯的地方打分數。
產品處理三件平常散在不同工具裡的工作。它建立模仿真實使用者行為的合成測試集，用開源指標替管線裡每個模組評分，並且盯著正式環境的流量，找出品質下滑的時點。其中開源的那一半 continuous-eval 是 Apache 2.0 授權的 Python 套件，內含 30 多種指標，涵蓋檢索、生成、程式碼、分類與代理工具呼叫。用 pip 就能安裝，不必付 Relari 一毛錢。
限制和功能一樣值得注意。Relari 假設你已經有一條可運作的管線，也已經想清楚什麼叫正確答案，因為用自然語言寫下的合約，還是得有人先把合約寫出來。手上沒有標註範例、也沒有正式環境回饋的團隊，能從自訂評估器得到的東西會少很多。代管平台本身也已經不再推廣：公司把公開重心轉向代理建置工具，relari.ai 也不再用來提供評估產品。開源套件仍放在 GitHub 與 PyPI，最後一版 v0.3.14 發佈於 2025 年 1 月。
開始使用
- 在 Relari 平台註冊免費帳號，或者跳過註冊，直接用 pip 安裝 continuous-eval，只做離線評分。
- 把管線描述成互相連接的模組，標明每一步的輸入與輸出，執行器才知道指標要掛在哪裡。
- 替每個模組挑指標，例如檢索端用 precision 與 recall，最後一次 LLM 呼叫用答案正確性。
- 用自己的文件或範例問題生成合成測試集，跑一次評估，讀各模組的分數。
- 把及格門檻寫成測試，接進發佈檢查清單，這樣一旦退步就會擋下部署。
產品資訊
快速了解 Relari: Testing and Simulation Stack for GenAI Systems 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 開發 LLM 應用的 AI 工程師：Relari 適合已經把管線送上線、想知道哪個模組退步的團隊。前提是管線拆得成模組，而且你手上有一批自己認定正確的問題。
- RAG 開發者：檢索吃重的應用受益最大，函式庫直接內建脈絡 precision、recall 與排序指標，RAG 評估不必從空白檔案開始。
- 大公司的 QA 與平台團隊：模組化視角讓合規副駕、企業搜尋、財務助理這些場景有一塊共用的計分板，答錯一次就真的會付代價。
- 研究者與學生：continuous-eval 是免費、好讀的 Python，想搞清楚 LLM 評估指標到底怎麼算，拿它動手最實際。
任務
- 不靠人工標註建立黃金資料集：合成資料產生器會從你的文件寫出問答配對，省下人工整理測試集通常要花的幾週。
- 找出壞答案是哪一步出錯：模組分數會顯示是檢索沒找到，還是生成端自己編，這個切分決定你先修哪裡。
- 上線前替 AI 代理做壓力測試：模擬使用者對話會把代理推進退款、超出範圍的要求、多步工具呼叫這些邊界情境。
- 在 CI 設下品質關卡：門檻寫成測試之後，讓答案正確性下滑的 pull request 就跟任何壞掉的建置一樣會失敗。
情境
- 客服機器人在改過提示詞之後開始答錯退款問題：正式環境監控加上同一組測試集重跑，一個發佈週期內就看得出落差。
- 合規副駕必須證明自己引用的是正確政策：檢索指標加上針對引用依據的自訂評審，稽核人員拿到的是可重複的數字，不是一場展示。
- 企業搜尋團隊想減少幻覺：用自家語料生成的合成查詢，能掀出任何公開基準都碰不到的缺口。
主要功能
以模組為單位的管線評估
Relari 把應用看成模組組成的圖，而不是一個大黑箱。你把檢索、重排、生成分開宣告，各自掛上不同指標，執行器就回傳每個節點的分數。答案錯了，計分板會指出是哪一步壞掉，而不是把整條管線一起罵。這就是「可以據以行動的數字」和「只能拿來爭論的數字」之間的差別。
30 多種開源指標
continuous-eval 內建檢索、文字生成、程式碼生成、分類與代理工具呼叫的指標。確定性檢查、語意相似度、LLM 評判可以放在同一輪裡跑，因此你能把便宜的完全比對和模型評分的評分規準混著用。自訂指標吃的是評判標準、評分規準加具型別的參數，只要規則寫得出來，幾乎都搭得出對應的評審。
合成測試資料生成
公開基準早被汙染，也難得對上你的領域，人工標註又慢。Relari 從你的文件與範例互動產生測試集，包含對抗式提示與邊界案例。它賣的是覆蓋率：一個下午生出幾千條貼近真實的查詢，而不是四十條精挑細選的題目。
對齊真人的評估器
通用評審的想法常跟你的使用者不一樣。Relari 用你自己的回饋資料訓練專屬評估器，官方研究指出與真人評分者的一致度超過 90%。這些評估器再回頭替新輸出打分，正式環境的抱怨與離線測試套件之間就接上了線。
代理合約與行為規格
平台後期的版本走向合約：用幾句自然語言寫下代理必須做與絕對不能做的事。合約把模糊的意圖變成可檢查的行為，AI 代理測試因此能涵蓋拒答、語氣與範圍，不只判斷最後那段文字看起來像不像話。這是整套工具裡最有意思的想法，也是文件寫得最少的一塊。
正式環境監控與回饋循環
真實流量一進來，離線分數就會偏離現實。Relari 的線上監控會抽樣即時對話，用同一套指標打分，再把失敗案例丟回測試集。持續跑這個循環的團隊，測試套件會跟著產品一起長大，而不是放到過期。
優缺點
優點
- 開源核心真的免費，授權也寬鬆，今天就能先評估一條管線，之後再決定要不要付費方案。
- 模組分數回答的是多數團隊真正在問的問題：錯誤從哪裡來，而不是答案好不好。
- 指標涵蓋 RAG 評估、程式碼與代理工具呼叫，一套函式庫抵掉三個工具的串接工作。
- 合成資料產生器砍掉 LLM 評估流程中最慢的一段，也就是湊出幾百條像樣的實際問題。
缺點
- 代管平台現在不好買。公司把公開重心移到代理工具，價格頁也收掉了，你實際能依靠的是開源套件與文件。
- 自訂評估器需要你自己的回饋資料。沒有標註過的正式環境範例，對齊真人的數字對你的情境而言只是理論。
- 建置需要真正的工程投入。把管線拆成模組、訂出有意義的門檻，是一天的工作量，不是點一下，小專案通常也撐不起這個成本。
- 文件落後於產品。一些較新的概念，尤其是合約，從部落格文章與 YC 發佈討論串讀起來比翻參考文件還清楚。
常見問題
Relari 替生成式 AI 應用做模擬、測試與評分。它產生模仿使用者的合成輸入，讓你的管線跑一遍，再回報每個模組的分數，因此你能判斷爛答案是檢索、排序還是生成造成的。
相關內容
探索與 Relari: Testing and Simulation Stack for GenAI Systems 相關的工具、技能與文章。
Relari: Testing and Simulation Stack for GenAI Systems 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。