Retrace

Retrace는 모든 모델 호출, 도구 호출, 검색, 오류를 입력, 출력, 비용, 타이밍과 함께 span으로 포착한다. OpenAI, Anthropic, Gemini로 가는 제공자 호출은 자동으로 계측되므로 하나하나 손으로 연결할 필요가 없다. 결과는 에이전트가 실제로 한 일에 대한 완전하고 구조화된 기록이다. 부분적인 로그가 아니다. 추측도 아니다.

이것이 Retrace를 단순한 AI 에이전트 모니터링 도구와 구분하는 기능이다. 기록된 실행을 수정한 입력을 가진 단일 span에서 분기한 뒤, 하위의 모든 단계를 캐스케이드 리플레이해 에이전트 전체가 새 경로로 다시 실행되게 한다. 로그가 답할 수 없는 질문에 답한다. 이 하나를 바꾸면 더 아래에서 무엇이 망가지는가.

프롬프트, 도구, 모델을 바꾼 뒤 수정-증명이 실패한 실행을 다시 돌려 판정을 돌려준다. 개선, 퇴행, 변화 없음 중 하나와 처음 갈라진 span을 얻는다. "이게 고친 것 같다"를 검증 가능한 결과로 바꾼다.

평가와 게이트 기능이 기록된 실행을 행동 기준에 따라 채점하고 파이프라인을 위한 통과 또는 실패 게이트 결정을 반환한다. 팀은 CI에서 일반 테스트와 나란히 행동 검사를 돌릴 수 있다. 어긋난 에이전트는 사용자에게 닿기 전에 잡힌다. 다중 에이전트 심사 감지기는 Pro 플랜부터 제공된다.

에이전트가 다음 모델이나 도구 호출을 하기 전에, 예산-강제가 그 호출이 허용되는지 묻는다. 비용 예산, 루프 감지, 지연 상한에 따라 허용, 차단, 보류를 반환한다. 통제를 벗어난 루프나 값비싼 지출 급증을 일어나기 전에 멈추는 방법이다. 청구서가 온 뒤가 아니다.

span-검색이 기록된 span과 에이전트 기억에 대해 의미 검색을 실행해, 어떤 동작, 프롬프트, 실패의 이전 발생을 정확한 문자열이 아니라 의미로 찾는다. 비슷한 버그가 3주 전에 나타났다면 정확한 표현을 기억하지 못해도 끌어낼 수 있다.

Retrace는 MCP 기반의 기억 저장소를 제공해 이전 에이전트 실행에서 추출한 지속적인 사실, 선호, 수정, 패턴을 보관한다. 에이전트는 그것들을 의미로 떠올릴 수 있고, 이는 매번 같은 수정을 다시 배우는 대신 세션을 넘어 동작을 일관되게 유지하는 데 도움이 된다.

테이프-게시가 정리된 실행을 대화형이고 공유 가능한 테이프로 바꾼다. 버그 리포트, 데모, 사후 분석에 쓸모가 있고, 개인정보 마스킹은 모든 플랜에 포함된다. 무료 등급은 월 10건의 게시 테이프를 허용한다.