Snowglobe

Snowglobeは会話型AI向けのテスト基盤であり、チャットボットシミュレーションを担う。それぞれ目標や口調、性格を持った合成ユーザーを生成し、そのユーザーたちを大量にチャットボットと会話させる。1回の実行で数百件の会話が生まれ、手書きのテストシナリオでは到底届かない端のケースまで拾える。

理屈は単純だ。手動テストでは、人が思いついた範囲しか試せない。Snowglobeは自動運転のシミュレーションから着想を得ている。制御された環境で系統に負荷をかけ、実際の負荷でも耐えられるようにする。AIエージェントのテストにもそのまま使える。Masterclassやシンガポールの公的機関AI Verifyなどが、不具合の発見やラベル付きデータセットの構築に使っている。

制約は対象範囲にある。Snowglobeが扱うのはAPIかSDKのエンドポイントを公開しているチャットボットだ。閉じたアプリの中でしか動かず、プログラムから触れないアシスタントは、きれいに接続する方法がない。エージェントを出荷するチーム向けで、コンシューマーアプリをいじる個人向けではない。

Getting Started

1. SnowglobeのWebアプリで登録し、ワークスペースを開く。
2. チャットボットのAPIエンドポイントを指定するか、SDKを組み込んで接続する。
3. チャットボットの役割を短く説明し、追跡したいリスクを選ぶ。幻覚や口調のずれなどが候補になる。
4. シミュレーションを実行すると、Snowglobeがペルソナと会話シナリオを自動生成する。
5. スコアを確認し、データをCSVやJSONで出力するか、評価・学習ツールへ渡す。