Langfuse

Langfuse는 모든 LLM 호출, 도구 사용, 검색 단계의 계층적 트레이스를 기록하고, 사용자, 세션, 비용, 레이턴시, 사용자 지정 메타데이터로 필터링하게 해 준다. 에이전트가 이상하게 굴 때, 망가진 정확한 단계를 여기서 찾는다.

LLM 심사자, 단순한 휴리스틱 함수, 사람의 검토로 출력을 채점할 수 있다. 평가기는 운영 중인 라이브 데이터에서도, 실험 안에서도 돌아간다. 품질 점검은 출시 전 한 번이 아니라 계속 이어진다.

프롬프트는 코드 밖에 있으면서 버전 관리, 원클릭 배포, 롤백을 갖춘다. 이 덕분에 프롬프트 수정이 배포로 번지지 않는다. 빠르게 움직이는 팀에 큰 시간 절약이다.

Playground에서는 운영 환경의 실제 입력으로 프롬프트를 시험하고 모델을 나란히 비교한다. 더 저렴한 모델이 작업을 감당할 수 있는지, 전환을 결정하기 전에 확인할 때 유용하다.

테스트 케이스를 정의하고 실험을 돌린 뒤 결과를 비교해 어떤 구성이 이기는지 본다. 이로써 "이게 더 나은 것 같다"가 측정 가능한 전후 비교가 된다.

대시보드는 토큰 지출, 레이턴시, 품질을 함께 추적하고, 뭔가 어긋나면 자동 알림을 보낸다. 편리하다. 팀은 청구서가 오기 전에 폭주하는 모델 비용을 잡으려고 이것을 자주 쓴다.

공개 API, 메트릭 API, S3나 데이터 웨어하우스로의 내보내기가 있으면 Langfuse 위에 더 얹을 수 있다. 추적한 LLM 비용으로 청구를 하거나, 사용자 행동과 상관지은 LLM 분석을 떠올려 보라. 이미 웨어하우스를 운영한다면 잘 맞는다.