Hamming
Hamming AI · 行銷 · 其他 · 聊天機器人 · 提示詞
Hamming 是針對 AI 語音與文字代理的測試與監控平台。它模擬通話、發動對抗式攻擊，並分析真實流量，讓問題在客戶遇到之前先被找出來。
關於 Hamming
What Is Hamming
Hamming 是一套品質控管平台，服務的對象是把 AI 語音代理與文字代理推上線的團隊。同一個系統包辦三件事：上線前的對話式 AI 測試、對抗式紅隊測試，以及每一通正式環境通話的監控。公司出自 Y Combinator 2024 夏季班，目前客戶涵蓋銀行、數位醫療公司與通話量大的新創。
它處理的問題很具體。一個語音代理在示範時聽起來流暢，卻可能確認了一筆根本沒建立的預約，被使用者插話就亂了節奏，或在對方禮貌開口時把病患資料念出來。人工測試通話能抓到一部分。口音、噪音與插話的組合有上千種，靠人測不完，更沒有人能聽完每一通真實來電。
簽約前有兩個限制要先知道。Hamming 不打造代理，也不提供語音模型，它評估的是你團隊已經在跑的系統。價格沒有公開，因此成本估算之前一定得先跟業務談一輪。技術設定，例如匯入代理、把測試接進建置流程，仍要由自家工程師處理。
Getting Started
- 申請示範，取得團隊可用的工作區權限。
- 連接要測試的代理，可透過原本的供應商，也可走 Hamming API。
- 依系統提示詞產生情境組，跑第一批測試並讀取評分報告。
- 把失敗情境轉成固定的回歸測試，同時把正式環境通話資料接進監控。
產品資訊
快速了解 Hamming 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 語音 AI 工程團隊：API 與 CI/CD 掛鉤讓你用測試結果決定要不要部署，不必再人工聽範例通話。
- 品保與發佈負責人：情境組、通過率加上一鍵回歸測試，等於每次上線前都有一份可重複的檢查清單。
- 受監管產業的法遵主管：SOC 2 Type II 控制項與符合 HIPAA 的流程，加上可簽署的 BAA，能涵蓋處理付款或病患資料的代理。
- 早期語音新創創辦人：第一份報告約十分鐘就出來，快得可以在客戶試辦期間直接拿來用。
任務
- 上線前的回歸測試：同一組情境在每次建置都重跑，擋下破壞主要流程的部署。
- 針對提示詞注入與資料外洩的紅隊測試：現成的對抗式套件會測越獄與社交工程，你不必自己寫攻擊腳本。
- 稽核真實通話：代理說出卻沒有完成的確認，在通話還新鮮時就會被監控標記出來。
- 比較代理版本或供應商：同一組情境兩邊都跑，決定依據是通過率，不是印象。
情境
- 上線前強化預約代理：模擬使用者會插話、講到一半換語言，還會要求系統給一個它根本無法兌現的確認。
- 醫療掛號專線：在簽署 BAA 的前提下，測試並監控處理受保護健康資訊的代理。
- 高話務客服中心：一天一萬通電話，兩個百分點的出錯率就是兩百通壞掉的對話，這正是客服中心 AI 監控派上用場的地方。
主要功能
大規模模擬通話測試
Hamming 會實際撥打測試電話給你的代理，樣本裡有口音、背景噪音、DTMF 按鍵輸入與 IVR 語音選單。平台標示可支援五萬通以上的並行測試通話，一整組測完的時間，大概等於安排一輪人工測試的等待時間。結果以每個情境通過或失敗呈現，附上逐字稿與可重播的音檔。
由提示詞生成情境
你把代理的系統提示詞貼進去，Hamming 就依此草擬測試情境，涵蓋主要流程、邊界狀況，以及代理應該拒絕的提問。修改與新增情境仍需人工，這點是刻意的：生成內容只是初稿，不是黑箱。已經有測試清單的團隊可以直接匯入，跳過生成這一步。
五十種以上指標評分
每一通電話會依五十多項指標評分，包含任務完成度、事實正確性、延遲與語氣。Hamming 宣稱與人工評估者的一致率達 95 到 96 個百分點，當你想相信通過率又不想聽完每段錄音時，這個數字很關鍵。你也可以針對自家規則自訂檢查，例如代理是否說對了退款期限。
對抗提示詞注入與個資外洩的紅隊測試
對抗套件來自大量正式環境部署中出現過的攻擊模式，開箱即可執行。範圍涵蓋提示詞注入、越獄、個資外洩、政策違規，以及冒充診所來電之類的社交工程腳本。每一個發現都會變成可重現的失敗測試，補過的洞就維持補好的狀態。
正式環境監控與真人告警
真實流量全天候盯著，觀察行為漂移、未經查核的預約與法遵風險。告警可以在客戶察覺之前先通知真人，這就是抓到程式錯誤與收到客訴單的差別。原生支援 OpenTelemetry，同一批追蹤資料能直接餵進團隊既有的可觀測性系統。
失敗自動變成回歸測試
正式環境的一次失敗，按一下就能變成永久測試。之後每次發佈都會重跑。這個循環是產品的核心：測試組從真實事故長出來，而不是從規劃會議長出來，語音代理監控的覆蓋面也因此擴大，沒有人需要手寫新情境。
優缺點
優點
- 把上線前測試、紅隊測試與正式環境監控收在同一套平台，不必拼湊三家供應商。
- 從提示詞生成情境解決了空白頁問題，約十分鐘就能產出第一份報告。
- 測試樣本涵蓋 65 種以上語言與口音，適合服務多語使用者的團隊。
- OpenTelemetry 與 CI/CD 整合，讓語音 AI 品質控管直接進到工程團隊原本就在跑的流程。
- SOC 2 Type II 與符合 HIPAA 的流程加上 BAA，讓醫療與金融代理也能採用。
缺點
- 沒有公開價格，也不能自助註冊，評估一定從業務通話與示範開始。
- 平台只評估代理，不負責打造，若你同時需要建立或託管代理，就得再找一套工具。
- 生成的情境仍要人工審閱，提示詞寫得馬虎，測出來的結果也馬虎。
- 沒有專職品保的小團隊，可能會覺得指標清單與紅隊報告多到無法消化。
常見問題
Hamming 在上線前測試 AI 語音與文字代理，用對抗式提示詞攻擊它們，上線後再監控真實通話。產出是每個情境的通過或失敗報告，外加正式環境通話出錯時的告警。
相關內容
探索與 Hamming 相關的工具、技能與文章。
Hamming 替代方案
ngram 2.0
ngram · 影片 · 行銷ngram 2.0 是給團隊使用的 AI 影片生成器。一句描述、一段螢幕錄影或一個產品網址，就能變成配好旁白的解說影片、產品示範或 AI 虛擬主播影片，而且每個場景都還能修改。
shippedit.me
Krawlup · 行銷 · 商業shippedit.me 現在會轉向 Krawlup，這是一個每週稽核 SEO、AEO 與載入速度的網站平台，並透過 MCP 把修正交給 AI 編碼代理執行。
MePersona
MePersona, Inc. · 寫作 · 生產力 · 行銷MePersona 是為創作者設計的 AI 統一收件匣。它學習你的說話方式，在 12 個平台上草擬粉絲訊息回覆，只送出你核准的內容。