Polarity

Polarity는 AI 에이전트를 출시하는 팀을 위해 만든 평가 플랫폼이다. 대본대로 짜인 모의 환경으로 에이전트를 테스트하는 대신, 실제 백엔드 서비스와 연결된 Docker 샌드박스에서 실행한다. 그래서 에이전트는 운영 환경에서 접하게 될 것과 같은 API, 데이터베이스, 도구를 본다. 이 구성이 중요한 이유는 에이전트 실패의 대부분이 형편없는 답변에서 오지 않기 때문이다. 아무도 원하지 않은 행동을 에이전트가 저지르면서 생긴다.

플랫폼은 두 가지를 동시에 확인한다. 첫째, 각 실행이 설정한 규칙을 지키는지 여부다. Polarity는 이를 항상 성립해야 하는 불변 조건과 절대 발동해선 안 되는 금지 규칙으로 나눈다. 둘째, 행동이 얼마나 안정적인지다. 같은 작업을 여러 레플리카에서 돌리면 한 번의 통과로는 완전히 가려지는 비결정성이 드러난다. 이 구분이 중요한 이유는, 어떤 실행에서는 통과하고 다음에는 실패하는 에이전트가 모두가 지켜보기를 그만둔 한참 뒤에 운영 환경을 조용히 망가뜨리는 유형이기 때문이다.

가장 큰 한계는 적용 범위다. Polarity는 개발자 도구이지 소비자용 앱이 아니다. 가치를 얻으려면 에이전트를 패키징하고 샌드박스에서 백엔드 서비스에 접근할 수 있게 해야 한다. 자동화 테스트 체계가 아직 없는 팀은 첫 며칠을 연결 작업에 쓴다.

시작하기

1. Polarity 웹사이트에 로그인하고 평가하려는 에이전트용 프로젝트를 만든다.
2. 프로젝트를 자신의 에이전트로 향하게 하고 필요한 백엔드 서비스를 정의한다. 그래야 샌드박스가 운영 환경과 같은 의존성으로 뜬다.
3. 불변 조건과 금지 규칙을 각 실행이 채점받는 검사 항목으로 작성한다.
4. 하나 이상의 레플리카에서 작업을 실행해 행동이 안정적으로 유지되는지, 시도마다 달라지는지 확인한다.
5. 실패를 열어 그 시드에서 재현하고, 출시 전에 근본 원인을 고친다.