Helicone
Helicone, Inc. · 程式設計
Helicone 是開源的 LLM 可觀測性平台，同時提供 AI 閘道。改一組基礎網址，就能記錄每個提示詞、追蹤花費，並把請求導向 100 多種模型。
關於 Helicone
About
Helicone 是什麼
Helicone 夾在你的應用程式與模型供應商之間。把 OpenAI SDK 指向它的閘道位址，或在既有的呼叫上加掛代理網址，每次請求就會出現在儀表板裡，附上提示詞、回覆、詞元數、成本與延遲。
這些紀錄回答了上線一週後才會冒出的問題。某位客戶的對話為什麼要 0.4 美元。哪一句提示詞讓 JSON 輸出壞掉。變慢的原因在你自己的伺服器，還是供應商那邊。請求記錄可以持續搜尋，也能依使用者、工作階段或自訂屬性分組。
專案以 Apache 2.0 授權開源，另外提供自架版本，給不能把提示詞送到第三方的團隊。兩個限制決定它對誰有用。你必須能改到呼叫模型的那段程式碼，因為安裝動作就是換基礎網址、加一個標頭。評估功能比專門的評估平台精簡，跑大量實驗的團隊通常會再留一套工具。
開始使用
- 註冊免費帳號，在設定頁產生 API 金鑰。
- 把 OpenAI 用戶端指向 Helicone 閘道，或在現有請求加上代理網址與 Helicone-Auth 標頭。
- 送出一次請求，打開請求頁籤，紀錄幾秒內就會出現。
- 用自訂屬性標記請求，例如使用者 ID 或方案，之後就能拆分花費。
- 為成本或錯誤率設一則警示，再邀請團隊成員加入。
產品資訊
快速了解 Helicone 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 把 LLM 功能推上線的工程團隊：每次呼叫都留下成本與延遲紀錄，從回報問題到修好之間少繞幾圈。
- 獨立開發者與小型新創：免費方案每月 10,000 次請求，足以替第一個產品裝上監測，不必先綁信用卡。
- 平台與 DevOps 團隊：閘道集中管理金鑰、請求速率與備援，路由設定不再散落在應用程式碼裡。
- 受資料規範綁住的團隊：Apache 2.0 的程式碼可以跑在自己的基礎設施上，適合提示詞不能離開內網的情況。
任務
- 排查壞掉的回覆：打開那筆請求，讀完整提示詞與輸出，找出寫錯的指令。
- 盯住花費：LLM 成本追蹤把帳單拆到模型、使用者與工作階段，不再只剩一個月總額。
- 換供應商：在閘道改個模型名稱就能測試更便宜或更快的選項，失敗時自動轉到備援。
- 比較提示詞：在 Playground 跑幾種版本，替輸出打分數，再決定要不要上線。
- 稽核用量：財務或資安要細節時，透過 API 把請求記錄拉進自家的資料倉儲。
情境
- 上線後變貴的聊天機器人：成本檢視直接指出哪些使用者、功能與模型在推高帳單。
- 這週要試三種模型的原型：一組閘道金鑰全部打通，不必再開三個供應商帳號。
- 受監管的環境：自架的可觀測性把提示詞與回覆留在自家雲端。
主要功能
一行完成整合
安裝動作就是換基礎網址加一組 API 金鑰，既有的 OpenAI、Anthropic、Azure 或 LiteLLM 用戶端不必改寫程式結構。伺服器上不用裝東西，也沒有代理程式要跑，團隊註冊當天下午就能看到紀錄。代理模式適用於任何送得出 HTTP 請求的語言。
請求記錄與追蹤
每一筆都留著完整提示詞、模型回覆、詞元數、延遲與算好的成本。你可以依模型、狀態、時間範圍或自訂屬性篩選，再打開單筆請求看時間花在哪裡。提示詞記錄做到這個粒度，含糊的抱怨就會變成一行政得動的文字。
具備快取與備援的 AI 閘道
AI 閘道是相容於 OpenAI 的端點，涵蓋 OpenAI、Anthropic、Google、Vertex、Groq 等 100 多種模型。它加上回應快取、依金鑰計算的請求速率，以及供應商故障時的自動備援，額度按供應商原價計費，不加價。想分開計費的人也可以帶自己的供應商金鑰。
使用者與工作階段分析
自訂屬性讓你替請求貼上使用者 ID、方案、功能名稱或任何標籤。工作階段接著把多輪對話收進同一個檢視，真實客戶旅程的成本與長度一目了然。對客服團隊來說，這差別就在於「機器人很慢」與「這個帳號每次都卡在 12 秒的工具呼叫」。
Playground 與提示詞管理
Playground 把提示詞同時送給多個模型，並顯示有開放思考設定的模型選項。提示詞可以存檔、版本化，再從程式碼取用，輸出也能評分，改動與否看結果而不是憑感覺。想先把便宜模型試一輪再導流量，這裡最快。
警示、報表與 HQL
警示會在成本、錯誤率或延遲超過門檻時觸發，排程報表把摘要送到電子郵件或 Slack。內建的查詢語言 HQL 處理儀表板篩選條件表達不了的問題，例如近 30 天每位使用者的成本。結果可以匯出，也能透過 API 送進資料倉儲。
開源與自架
程式碼以 Apache 2.0 公開，GitHub 上有數千顆星，版本更新也穩定。你可以用 Docker 把整套服務跑在自家雲端，當提示詞含法務不放行的客戶資料時，這一點很關鍵。託管版與自架版共用同一套儀表板與 API。
優缺點
優點
- 換一組基礎網址就開始記錄，不必重寫 SDK，也不用開遷移專案。
- 閘道以供應商原價涵蓋 100 多種模型，不加價，快取與備援都在同一組金鑰裡。
- Apache 2.0 開源，並提供自架路徑給受資料規範限制的團隊。
- 免費方案真的能用：每月 10,000 次請求、1 GB 儲存空間，不用信用卡。
- 成本、延遲與錯誤在同一頁看完，細到單筆請求、單一使用者與單一工作階段，省掉手工試算表。
缺點
- 它是為開發者設計的。拿不到呼叫模型那段程式碼，儀表板就沒有東西可看。
- 評估與資料集功能比專門的評估平台薄，認真追蹤實驗的人得再搭一套工具。
- Pro 從每月 79 美元起，請求與儲存空間另按用量計費，流量長起來後帳單不好預估。
- 免費方案只留 7 天紀錄與 1 GB 空間，任何長期歷史都需要付費方案。
常見問題
它記錄並分析應用程式送往 LLM 供應商的呼叫。你會拿到含提示詞、回覆、詞元數、成本與延遲的請求記錄，另外還有一個能把這些呼叫導向 100 多種模型的閘道。
相關內容
探索與 Helicone 相關的工具、技能與文章。
Helicone 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。