NovaSynth by Noveum

NovaSynth by Noveumは、音声エージェントとテキストエージェントを提供するチーム向けのテスト環境だ。理想的な経路のスクリプトをいくつか手書きして願うのではなく、NovaSynthを自分のエージェントに向け、数百人分の合成発信者を生成させる。各発信者には目標、気分、訛りがある。彼らは実際の電話網で発信するか、LiveKitとチャット経由で接続する。そのためエージェントは、実際の会話の乱れた部分に直面する。割り込み、同時発話、沈黙、話題の切り替え、プロンプトインジェクションの探りだ。

この製品は本番前の段階に位置し、稼働中のシステムには入らない。NovaSynthは指定したエージェントに発信する。通常はテスト番号かステージングのエンドポイントだ。本番トラフィックには決して触れない。合成負荷が実顧客に届くのを懸念するなら、この点は重要だ。読み取りは再生され、書き込みはサンドボックス化される。変更した判断は端から端まで検証できる一方、書き込みが本番システムに届くことはない。

では、それで何が得られるのか。ローンチ前の自信だ。ダッシュボードではない。

最大の制約は、テストできる範囲にある。NovaSynthが評価するのは対話型エージェント、つまり音声とテキストだ。自分の製品に対話の接点がなければ、ここで得られるものはほとんどない。またクレジット制のプラットフォームなので、重い負荷テストや長時間の音声実行はクレジットを素早く消費する。大規模な実行には実際の費用がかかる。負荷テストの前にはチームに伝えて、電話回線を用意してもらうとよい。

はじめかた

1. noveum.aiで登録し、無料プランを使う。月2,500クレジットから始まり、クレジットカードは不要だ。
2. NovaSynthをテストしたいエージェントに向ける。Twilio、Plivo、Vobiz経由のSIP番号、LiveKitかPipecatのエンドポイント、SDKで接続した自作エージェントのいずれでもよい。
3. エージェントの文脈からペルソナとシナリオを生成する。プロンプト、PRD、ワークフロー、ドキュメントなどが材料になる。自分でシナリオを提出して実行させることもできる。
4. 共通のバッチidの下で、ペルソナ掛けるシナリオのバッチ行列を起動し、エージェントが同時に何件の通話を保持できるか見たいときに並列度を上げる。
5. 記録したトレースと30以上の音声AIスコアを確認し、壊れた箇所を直し、再実行して修正を端から端まで確認する。