Traccia

레지스트리는 환경 내 모든 에이전트의 살아 있는 목록을 유지하므로, 리포지토리를 뒤지지 않고도 "지금 몇 개의 에이전트가 돌고 있나"를 답할 수 있다. 각 항목은 에이전트를 소유자, 모델, 활동에 연결해, 비용 급증이나 정책 위반 뒤에 있는 하나를 훨씬 쉽게 찾게 한다. 빠르게 출시하는 팀에게는 이것만으로도 쓰는 순간 낡아버리는 스프레드시트를 대체한다.

Traccia는 LLM 지출을 하나의 합산 청구서가 아니라 에이전트와 워크플로 수준까지 쪼갠다. 어느 에이전트가 가장 많은 비용을 냈는지, 어떤 프롬프트가 토큰을 가장 많이 먹는지, 지출이 시간에 따라 어떻게 움직이는지 볼 수 있다. 이 세밀함이 "우리 AI 청구서가 올랐다"를 "이 에이전트의 검색 단계가 컨텍스트 길이를 두 배로 늘렸다"로 바꾼다.

플랫폼은 고객 PII를 포함한 민감 데이터가 있는지 프롬프트와 응답을 감시한다. 무언가 나타나면 특정 에이전트와 스팬에 묶인 경고를 받으므로, 실제 사용자의 데이터가 노출됐는지, 어디서 노출됐는지 알 수 있다. 이는 규제 데이터를 다루는 팀에 가장 중요하며, 한 번의 유출이 실제 결과를 낳을 수 있다.

어떤 모델과 행동이 허용되는지 정의하면, Traccia가 런타임에 그 규칙에 비추어 에이전트를 검사한다. 에이전트가 제한 모델을 쓰려 하면, 플랫폼은 그 호출을 표시하거나 차단하고 무슨 일이 있었는지 기록한다. 종이에 적힌 정책과 실제로 돌아가는 정책의 차이다.

프롬프트 레지스트리는 프롬프트 버전을 관리 아래에 두고, 평가 워크스페이스는 후보를 프로덕션 행동과 견줘 시험하게 한다. 감으로 프롬프트 변경을 출시하는 대신, 라이브 버전과 비교해 정말 더 나은지 확인한다. Traccia는 이를 "이 프롬프트가 프로덕션보다 나은가"를 의견이 아니라 데이터로 답하는 일로 규정한다.

Traccia는 정상 운영의 부산물로 EU AI법 같은 프레임워크를 위한 감사 대비 증거를 모은다. 각 에이전트가 무엇을 했고, 어떤 모델을 썼고, 어떤 데이터를 만졌는지의 기록은 로그에 흩어지는 대신 검토용으로 정리된다. 누군가 준수 증명을 요구하면, 허둥대는 대신 내보내면 된다.

Traccia는 OpenTelemetry를 말하므로, 이미 운영하는 관측성 스택에 들어맞는다. 오늘 스팬을 내보내고 있다면, SDK가 별도의 계측 계층 없이 그것을 받아 간다. OpenTelemetry 에이전트 추적을 한 번 켜면 모든 에이전트가 보고한다. 이 네이티브한 적합성이 독점 에이전트를 하나 더 원치 않는 팀의 전환 비용을 낮춘다.