Trackly

Trackly는 프로덕션 AI 시스템을 개선하기 위한 AI 의사결정 엔진이다. 대부분의 팀은 로그에서 시작하고, 로그는 무슨 일이 있었는지 알려준다. Trackly는 한 걸음 더 나아가 무엇을 해야 하는지 알려준다. 자동 인사이트를 보여주고, 크리티컬 패스를 감지하며, 실제로 돈을 아끼는 모델 교체를 제안한다.

해결하는 핵심 문제는 가시성이다. 앱이 열두 개 남짓한 체인을 통해 네 공급자와 대화하면 토큰 비용과 지연은 아무도 확인하지 않는 곳에 숨는다. 청구서나 타임아웃이 얼굴을 때릴 때까지 모른다. Trackly는 그 모두를 한곳에 모아 각 실행, 단계, 공급자 호출을 귀속하고 비교한다. 여러 벤더를 다루는 팀에게 LLM 관측성이란 원래 이런 느낌이어야 한다. 또 하나의 조용한 로그 파일이 아니라.

가장 큰 제약은 궁합이다. 이것은 개발자 도구라서 SDK를 설치하고 코드에 계측을 넣어야 한다. 비기술 사용자에게는 도움이 안 되고, 이미 파이썬 에이전트나 LangChain 워크플로를 돌리는 팀에 보상을 준다. 내가 보기에는 가치가 실제로 밀어 넣는 AI 트래픽 양에 따라 커진다.

시작하기

1. Trackly 사이트에서 계정을 만들고 대시보드에서 프로젝트 자격 증명을 받는다.
2. 파이썬 앱에 Trackly SDK를 설치하고 공급자를 지정한다. 원시 문자열 대신 내보낸 공급자 상수를 써도 된다.
3. LLM 호출이나 에이전트 실행을 감싸 Trackly가 단계별 토큰, 비용, 시간을 잡아내게 한다.
4. 앱을 실행한 뒤 대시보드를 열어 자동 인사이트, 크리티컬 패스, 실행 비교를 살핀다.
5. 더 싼 모델로 바꾸는 식의 제안에 따라 움직이고, 다시 실행해 비용 하락을 확인한다.