Hamming

Hammingは実際にテスト通話をエージェントへかけ、アクセント、背景騒音、DTMFのキー入力、IVRの階層を混ぜ込む。同時5万件以上のテスト通話を処理できると公式は説明する。手作業のテストを1回組むのと同じ時間で、シナリオ群を最後まで流せる計算だ。結果はシナリオごとに合格か不合格で返り、書き起こしと再生できる音声が付く。

エージェントのシステムプロンプトを貼ると、Hammingがそこからテストシナリオを起草する。基本の流れ、境界のケース、断るべき質問まで含む。シナリオの編集や追加は手作業のままで、そこが要点でもある。生成物は下書きであって黒箱ではない。テスト一覧をすでに持つチームは取り込めば生成を飛ばせる。

通話は50以上の指標で採点される。タスク完了、事実の正確さ、遅延、話し方の調子などだ。AI音声エージェント評価では、人手の評価者との一致率が95から96パーセントだとHammingは公表している。録音を全部聞かずに合格率を信じたいとき、この数字が効いてくる。返金期限を正しく伝えたかなど、自社ルール用の独自チェックも組める。

攻撃スイートは多くの本番環境で観測された手口から作られ、そのまま実行できる。範囲はプロンプトインジェクション、脱獄、個人情報の漏えい、ポリシー違反、クリニックを名乗る電話などのソーシャルエンジニアリングまで及ぶ。見つかった問題は再現可能な失敗テストになるので、ふさいだ穴はふさいだまま残る。

実際の通話は24時間監視し、挙動のずれ、未確認の予約、コンプライアンス上の危険を拾う。アラートは顧客が気づく前に担当者を呼び出せる。バグを捕まえたか、サポート窓口に来たかの差はここで決まる。OpenTelemetryに標準対応しているため、同じトレースが既存の可観測性基盤にそのまま流れる。

本番での失敗はワンクリックで恒久的なテストになる。以降のリリースでは毎回それが走る。この循環が製品の核だ。テスト群は計画会議ではなく実際の障害から育ち、音声エージェント監視の範囲は、誰かが手でシナリオを書かなくても広がっていく。