Relari: Testing and Simulation Stack for GenAI Systems

Relari란 무엇인가

Relari는 생성 AI 앱을 위한 테스트와 시뮬레이션 스택이다. Y Combinator 2024년 겨울 배치를 거친 Relari, Inc.가 만들었다. 논리는 단순하다. 자율주행 팀은 실제 도로에서 사고가 나기를 기다리지 않는다. 수백만 킬로미터의 모의 주행을 먼저 돌린다. Relari는 같은 방식을 LLM 앱에 옮긴다. 교통 상황을 만들고, 그 위로 파이프라인을 돌리고, 깨지는 지점을 채점한다.

제품은 보통 서로 다른 도구에 흩어져 있는 세 가지 일을 한곳에서 다룬다. 실제 사용자 행동을 흉내 낸 합성 테스트 세트를 만들고, 파이프라인의 각 모듈을 오픈소스 지표로 채점하고, 프로덕션 트래픽을 지켜보며 품질 하락을 잡는다. 그중 오픈소스 쪽인 continuous-eval은 Apache 2.0 라이선스의 파이썬 패키지로, 검색과 생성, 코드, 분류, 에이전트 도구 호출까지 30개가 넘는 지표를 담는다. pip로 설치하고 Relari에 돈을 한 푼도 내지 않고 돌릴 수 있다.

한계도 기능만큼 중요하다. Relari는 이미 돌아가는 파이프라인과 무엇이 정답인지에 대한 정의가 있다고 전제한다. 자연어로 쓴 계약은 결국 누군가 작성해야 하기 때문이다. 라벨이 붙은 예시도 프로덕션 피드백도 없는 팀은 맞춤 평가기에서 얻는 게 적다. 호스팅 플랫폼도 더는 적극적으로 안내되지 않는다. 회사는 공개적 관심을 에이전트 구축 도구로 옮겼고, relari.ai는 더 이상 평가 제품을 제공하지 않는다. 오픈소스 패키지는 GitHub와 PyPI에 남아 있고, 마지막 릴리스는 2025년 1월의 v0.3.14다.

시작하는 방법

1. Relari 플랫폼에서 무료 계정을 만든다. 오프라인 채점만 필요하면 가입을 건너뛰고 continuous-eval을 pip로 설치한다.
2. 파이프라인을 서로 연결된 모듈로 서술하고 각 단계의 입력과 출력을 매핑해, 지표를 어디에 붙일지 실행기에 알려준다.
3. 모듈마다 지표를 고른다. 검색 쪽은 precision과 recall, 마지막 LLM 호출은 답변 정확성 같은 식이다.
4. 보유 문서나 예시 질문으로 합성 테스트 세트를 만들고 평가를 돌려 모듈별 점수를 읽는다.
5. 합격 기준선을 테스트로 적고 릴리스 체크리스트에 연결한다. 품질이 떨어진 변경은 그 지점에서 막힌다.