Heron
Netis · 程式設計
Heron 是一款開源的代理可觀測性工具，它從網路封包而不是你的程式碼來重建 AI 代理回合與 LLM API 流量。它會讀取 .pcap 檔案、即時網路介面或 eBPF 探針，並在本機儀表板中顯示每一個規劃器步驟、工具呼叫與模型回應。不需要安裝 SDK，不需要經過代理轉送，你正在觀察的應用程式也不需要配合。想知道那些秒數和錯誤究竟跑到哪裡去了嗎？Heron 正是為此而生。它適合用在你不願意加上監測程式碼的主機上做 LLM API 監控。
關於 Heron
Heron 是什麼
Heron 是一款被動式的 AI 代理可觀測性工具。它擷取明文 HTTP 流量，並在代理層級重建發生過的事，因此你看到的是完整回合（規劃器 → 工具 → 結果 → 下一步），而不是一堆原始請求。供應商 Netis 稱它是「AI 代理的 Wireshark」，這個比喻站得住腳：你把它指向流量，它就告訴你這些流量代表什麼。就這麼簡單。
核心概念是零侵入。大多數監控工具都要你加一個函式庫、包一層客戶端，或把呼叫導向閘道。Heron 則坐在一旁讀取線路上的資料。當工作負載是你無法重新編譯的封閉式執行檔，或你不想讓監測程式碼出現在生產環境附近時，這點就很重要。
取捨和封包工具一向面臨的相同。Heron 看到的是明文 HTTP，因此必須在流量已經解密的地方執行：在推論主機上、在 TLS 終結器後方，或從你信任的封包來源餵入。把它指向加密流量，它就什麼也看不到。這就是它的罩門。
開始使用
- 用一行安裝指令安裝這個單一執行檔，可選擇全系統安裝，或是不需要 sudo 的使用者本機安裝。
- 給它封包存取權。在 Linux 上，這代表一次性授予擷取能力，或者如果你不想碰即時流量，就餵給它一個 .pcap 檔案。
- 對你的來源執行它，例如在 Linux 上用
heron -i eth0，或用heron --pcap-file capture.pcap重播已儲存的檔案。 - 開啟 3000 埠上的本機主控台，瀏覽代理回合、時間軸與指標。
- 如果你想要微調資料，可以把任何回合或整個工作階段匯出成 OpenAI 風格的 messages JSONL。
產品資訊
快速了解 Heron 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 管理推論叢集的平台與 SRE 工程師，需要在不必碰應用程式碼的情況下掌握延遲與錯誤狀況。
- 除錯代理工作流程的 AI 團隊，尤其是當代理是他們無法加上監測的封閉式執行檔時。
- 想從真實代理流量而非合成範例建立微調資料集的開發者。
任務
- 重播已儲存的 .pcap，精確重建代理在一次失敗執行中做了什麼。
- 即時觀察每種代理類型與模型的首次輸出時間、延遲、吞吐量與錯誤率。
- 繪製推論拓撲（用戶端 → 代理伺服器 → 後端），看清哪些元件處理哪些流量。
- 把代理工作階段匯出成 JSONL，用於監督式微調。
情境
- 生產環境的推論主機，你無法為在請求路徑中加入 SDK 呼叫找到理由。
- 事後檢討，你手上有封包擷取檔，卻沒有應用程式日誌。
- 在出乎意料的結果之後，稽核自主代理實際上呼叫了什麼、順序又是如何。
- 用內附的 .pcap 測試素材，在實驗室或 CI 執行中架起監控。
主要功能
零侵入擷取
Heron 從線路上、主機的 TLS 邊界，或透過實驗性的 eBPF 探針（在 SSL 讀寫邊界攔截明文）讀取流量。沒有 SDK、沒有代理伺服器、沒有程式碼變更，也不需要被觀察工作負載的配合。對於使用封閉式執行檔或嚴格變更管制的團隊，這移除了代理監控總是被延後的主因。
代理回合重建
原始 HTTP 呼叫很難理解。Heron 把多次呼叫的互動縫合成單一可定址的回合，因此一個規劃器步驟、它的工具呼叫、工具結果與後續呼叫讀起來像一段完整敘事。你得到的是代理的故事，而不是脫節請求的日誌。這就是差別。這個功能讓它與一般 API 監控工具區隔開來。
即時指標儀表板
一個指令就能給你即時的首次輸出時間、延遲、吞吐量、錯誤率，以及各代理的組成比例，全部從流量重建並顯示在本機網頁主控台。內建 Claude Code 與 OpenAI Codex CLI 的具名設定檔，其餘則有通用設定檔。如果你曾想在沒有指標管線的情況下取得叢集層級的數字，這就是捷徑。不需要任何管線。
服務分類與拓撲
Heron 透過檢查線路上的位元組，而不是讀取設定檔，判斷每個端點提供什麼服務，例如 vLLM、SGLang、Ollama、llama.cpp 或 LiteLLM。接著它把你的推論叢集描繪成有向圖，邊的粗細依回合數縮放。設定錯誤的路由，在你以圖像方式看見時會很快浮現。
微調資料匯出
任何回合或工作階段都能匯出成 OpenAI 風格的 messages JSONL，工具呼叫、結果與推理都會保留，參數則還原成物件。你可以從單一回合的詳細檢視匯出，或用目前的篩選條件從回合清單批次匯出。它把真實的生產流量變成你原本得手工標註的訓練資料。
無需權限的 Pcap 重播
不需要即時擷取。把一份含 LLM 流量的 .pcap 交給 Heron，它就能在沒有特殊權限的情況下重播全部內容，並在之後保持主控台開啟讓你瀏覽。儲存庫內附素材，你可以在碰任何真實系統之前先試。這讓評估變得很便宜。也很安全。
優缺點
優點
- 真正零侵入：沒有 SDK、代理伺服器或程式碼變更，因此能在你無法重新編譯的執行檔上運作。
- 重建代理層級的回合，而不是倒出原始 HTTP，這才是你除錯時真正需要的。
- 單一靜態執行檔並內嵌網頁主控台，因此不會留下安裝程式或套件管理員的足跡。
- Pcap 重播與內附素材讓你無需權限、也無生產風險地評估它。
- 微調用 JSONL 匯出把真實流量變成訓練資料，工具呼叫與推理都完好保留。
缺點
- 它只看得到明文 HTTP，因此必須在 TLS 已經終結的地方執行。把它指向加密流量，你什麼也得不到。
- eBPF 擷取路徑是實驗性的、僅限 Linux，且需要 CAP_BPF，所以還不是設定好就能不管的選項。
- Linux 上的即時擷取需要授予封包能力，某些安全團隊會想先審查一番。
常見問題
它擷取網路流量，並從中重建 AI 代理回合與 LLM API 互動。你不必為程式碼加上監測，只要在流量可見的地方執行 Heron，它就會把每個規劃器步驟、工具呼叫與模型回應重建進可瀏覽的儀表板。
相關內容
探索與 Heron 相關的工具、技能與文章。
Heron 替代方案
Forefront
Forefront · 程式設計Forefront 是一個用來打造開源 AI 的網頁平台。你可以用自己的資料微調主流的開源語言模型、評估它們的表現，再透過 API 執行，或匯出後自行架設。想要封閉式平台的便利、卻堅持要自己擁有模型與資料的開發者，就是這裡的目標客群。
Startkit
StartKit.AI · 程式設計Startkit 是一套用來打造 AI SaaS 與 AI 包裝產品的樣板。可以把它想成一個 AI 新創樣板，把枯燥的部分都先接好了：驗證、Stripe 與 Lemon Squeezy 付款、用量限制、交易型電子郵件，以及一套能與 OpenAI、Anthropic、Groq 或 Llama 溝通的 AI API 啟動套件。你複製儲存庫、設定價格，然後專心在產品中使用者真正願意付費的部分。它建構於 React 與 Tailwind 之上的 Next.js，所以大部分的樣板程式碼對你來說並不陌生。
Testim
Tricentis · 程式設計Testim 是專為網頁、行動與 Salesforce 應用程式打造的 AI 測試自動化平台，用來建立並執行端到端測試。它靠機器學習在介面變動時維持測試穩定，團隊因此少花時間修補壞掉的定位器。對於一款今天就能開始使用的自動化測試工具來說，這表現不算差。你透過在瀏覽器錄製動作來建立測試，需要更多控制時再補上 JavaScript。對忙碌的 QA 團隊來說，這是個可靠的選擇。