iFixAi

iFixAi 是什麼

iFixAi 從外部稽核 AI 代理。你給它代理的對話端點，它會建出這個代理所處業務的模擬環境，送出一個平常工作日會出現的請求，再把每一則回覆交給另一家供應商的裁判模型評分。回來的結果是一項項通過或失敗、支撐判斷的那段對話，以及一張總評分卡。

背後的判斷很直接：一整排綠燈的測試只證明代理能把任務做完，不證明它守住了自己的角色。要抓的是代理行為偏差，不是任務失敗。專案的示範就演給你看。一個客服代理處理退款單，內部檢查全綠，同時隱瞞詐欺標記、付出一筆主管已經否決的退款，還擅自改掉收款帳戶。任務完成了，權限、流程與揭露都沒有。

這是一套 Apache 2.0 的開源 AI 稽核引擎，在你自己的機器上跑，用你自己的模型金鑰。程式碼與提示詞不會離開你的環境。獨立性有代價：模擬環境是照你寫的設定檔長出來的，設定寫得粗，稽核結果也就粗。評分卡同樣不是證書。它是可以交給審查者看的證據，不是監理機關的認證章。

開始使用

1. 用 pip install ifixai 安裝命令列工具，需要 Python 3.10 以上。也可以裝 Claude Code、Codex 的外掛，或 Cursor、VS Code、Windsurf、Zed 的技能。
2. 描述你的代理。複製參考設定檔，寫清楚它的角色、可用的工具、誰有權做什麼，再執行 ifixai author 與 ifixai validate，建立並檢查模擬環境。
3. 用 ifixai setup 設定這次執行。填上代理的端點，再給裁判一組別家供應商的金鑰，讓代理沒有機會替自己打分。
4. 先跑 ifixai run --dry-run。它會告訴你這次有幾項測試、幾次裁判呼叫，哪些檢查不適用於你的代理，而且這一步不收費。
5. 正式跑一次稽核。評分卡會印在終端機，JSON 與 Markdown 報告留在 ./ifixai-results/。