Phoenix AI

트레이싱은 OpenTelemetry 기반 계측으로 LLM 앱의 실행을 기록한다. 프롬프트부터 검색, 도구 호출까지 요청의 각 단계를 열어 들여다볼 수 있는 하나의 트레이스로 펼친다. 대부분의 사람이 이걸 보러 오는 기능이고, 로그가 답하지 못하는 질문, 곧 이 실행이 정확히 어디서 틀어졌는지를 밝힌다.

평가는 오픈소스 LLM 평가다. LLM을 써서 응답 평가와 검색 평가로 앱 성능을 잰다. 출력을 하나씩 읽는 대신 채점기를 묶음에 돌려 점수를 받는다. 앱의 두 버전을 비교하며 한쪽이 단지 다른 게 아니라 정말 낫다는 걸 보여야 할 때 이게 중요하다.

Datasets는 실험, 평가, 파인튜닝을 위해 버전이 붙은 예시 묶음을 만들게 한다. 고정 데이터셋은 매번 같은 입력이 돌아서 점수 변화가 테스트가 아니라 앱을 반영한다. 팀은 제품이 나아가는 동안 안정된 기준으로 쓴다.

Experiments는 프롬프트, LLM, 검색의 변경을 따라간다. 같은 데이터셋을 새 구성에 돌리고 결과를 나란히 비교한다. 프롬프트 엔지니어링이 찍기가 아니라 측정이 되는 지점이 여기다.

Playground는 프롬프트 엔지니어링 환경으로, 프롬프트를 개선하고 모델을 비교하고 파라미터를 조정하고 기록된 LLM 호출을 재생한다. 프롬프트 작업의 손을 쓰는 부분을 위해 만들어졌다. 변형을 시도하고 출력을 보고 되는 걸 남긴다. 실제 트레이스를 재생하면 정말 일어난 사례에 대고 시험한다.

Prompt Management는 버전 관리, 태깅, 실험으로 프롬프트 변경을 다룬다. 프롬프트가 코드처럼 취급돼서 팀이 무엇이 바뀌었고 누가 바꿨는지 보고, 품질이 떨어지면 되돌린다. 이 구조가 공유 프롬프트 라이브러리가 흐트러지는 걸 막는다.

PXI는 Phoenix에 내장된 AI 엔지니어링 에이전트로, 트레이스 디버깅과 프롬프트 반복, 제품 안에서 길 찾기를 돕는다. 도구 안의 조수처럼 굴어서, 메뉴를 뒤지지 않고 트레이스 설명이나 프롬프트 손질 제안을 부탁할 수 있다.

Remote MCP Server는 Claude Code, Cursor와 다른 MCP 클라이언트를 당신의 Phoenix 인스턴스 /mcp 엔드포인트에 연결한다. 거기서 편집기를 떠나지 않고 트레이스, 데이터셋, 실험을 조회한다. 이미 코딩 에이전트 안에서 일하는 팀에 맞는다.