Snowglobe

Snowglobe는 대화형 AI를 위한 테스트 플랫폼이며, 챗봇 시뮬레이션을 담당한다. 각기 목표와 말투, 성격을 지닌 합성 사용자를 만들고, 그들이 챗봇과 대규모로 대화하게 한다. 한 번 돌리면 수백 건의 대화가 나오고, 손으로 쓴 테스트 시나리오가 결코 닿지 못하는 경계 상황까지 훑는다.

논리는 단순하다. 수동 테스트는 사람이 떠올린 범위만 시험한다. Snowglobe는 자율주행 시뮬레이션에서 착안했다. 통제된 환경에서 시스템에 부하를 걸어, 실제 부하에서도 버티게 만드는 방식이다. AI 에이전트 테스트에도 그대로 쓸 수 있다. Masterclass와 싱가포르 공공기관 AI Verify 같은 곳이 결함을 찾고 라벨이 붙은 데이터셋을 쌓는 데 이 도구를 쓴다.

한계는 적용 범위에 있다. Snowglobe가 다루는 대상은 API나 SDK 엔드포인트를 공개한 챗봇이다. 닫힌 앱 안에서만 돌고 프로그램으로 접근할 수 없는 어시스턴트는 깔끔하게 연결할 방법이 없다. 에이전트를 출시하는 팀을 위한 도구이지, 소비자용 앱을 만지작거리는 개인을 위한 것이 아니다.

Getting Started

1. Snowglobe 웹 앱에서 가입하고 워크스페이스를 연다.
2. 챗봇의 API 엔드포인트를 지정하거나 SDK를 붙여 연결한다.
3. 챗봇이 하는 일을 짧게 적고, 추적할 위험을 고른다. 환각이나 말투 이탈 등이 후보다.
4. 시뮬레이션을 실행하면 Snowglobe가 페르소나와 대화 시나리오를 자동으로 만든다.
5. 점수를 살피고 데이터를 CSV나 JSON으로 내보내거나, 평가·학습 도구로 넘긴다.