Progress AI Observability

모든 요청이 프롬프트, 모델 호출, 검색 단계, 도구 사용, 재시도, 사용자 정의 워크플로 로직을 아우르는 추적이 된다. 각 구간의 지연 시간, 토큰 수, 원시 출력이 보인다. 여러 단계를 거치는 에이전트에게 이것은 짐작과 진단의 차이다.

디버거는 늘 나오는 용의자들을 드러낸다. 건너뛴 도구, 검색 문제와 나쁜 문맥, 루프나 오류다. 프로덕션에서 뭔가 실패하는 순간을 겨냥한다. 읽어야 할 로그의 벽이 아니라 실패한 단계의 지목이 필요한 순간이다. 추적은 탐색 범위를 한 번의 실행 중 한 갈래로 좁힌다. 디버깅이 빨라진다. 잠도 늘어난다.

플랫폼은 모델, 제공자, 에이전트를 넘나들며 토큰 사용량과 추정 비용을 추적하고, 그 지출 뒤의 워크플로 패턴을 보여준다. 어떤 에이전트가 매 턴 비싼 모델을 부르는지 보인다. 이 발견만으로 도구 값은 뽑는다. 모든 워크플로에 GPT급 추론이 필요한 건 아니며, 데이터가 그걸 분명하게 만든다.

LLM-as-a-Judge 평가로 출력을 점수화하고, 품질 점수가 움직이는 걸 지켜보며, 변화를 프롬프트, 모델, 워크플로 수정에 연결한다. 한 릴리스를 그 전 것과 비교하는 일은 논쟁이 아니라 반복 가능한 점검이 된다. 더는 감으로 결정하지 않는다.

데이터셋과 실험으로 같은 입력을 서로 다른 프롬프트나 모델 구성에 통과시킬 수 있다. 사용자에게 닿기 전에 어느 버전이 더 나은지 나란히 확인한다. 여기서 평가는 느낌을 멈추고 근거가 되기 시작한다. LLM 추적이 이를 곧바로 뒷받침한다.

프롬프트 관리는 프롬프트 버전을 한곳에 모아 변경을 추적 가능하게 한다. 수정 뒤 품질이 떨어지면 어떤 프롬프트가 움직였는지 정확히 보고 되돌릴 수 있다. 가장 혼란스러운 버그를 막아주는 평범한 기능이다. 지루하지만 그만한 값어치가 있다.

요청별 추적을 넘어, 플랫폼은 AI 프로그램 전체의 성능 지표를 집계한다. 느린 모델, 비싼 워크플로, 시간에 따른 드리프트를 잡아낸다. 모델 최적화 안내는 더 싸거나 빠른 선택으로 충분한 지점을 짚는다. 모든 호출에 카탈로그상 가장 큰 모델이 필요한 건 아니다.

계측은 프로덕션 AI 팀 대부분이 쓰는 세 언어로 제공된다. .NET 지원은 특히 중요하다. 많은 관측성 도구가 이를 뒷전으로 다루기 때문이다. SDK를 추가하고 자신의 호출을 향하게 하면 추적이 흐르기 시작한다. 그게 전부다.