Athina AI

Athina AI는 AI 기능이 보내는 모든 요청을 기록한다. 프롬프트, 모델, 응답, 비용, 지연을 한 기록에 담는다. 팀은 사용자 불만에서 짐작하는 대신 프로덕션에서 실제로 무슨 일이 있었는지 보려고 이걸 쓴다. 무료 등급은 월 10k 로그를 감당하므로 무거운 앱은 유료 플랜으로 옮겨 간다. 그게 전부다.

Athina, OpenAI, Ragas, Guardrails 같은 제공자의 50개 넘는 내장 평가로 데이터셋을 채점할 수 있다. 답의 정확성, 문맥 정밀도, 충실성 같은 흔한 검사를 아우른다. 맞는 게 없으면 LLM 심판이나 Python 함수로 커스텀 평가를 작성한다. 선택지는 넉넉하다.

프롬프트는 코드처럼 저장되고 버전 관리되며 커밋과 메시지가 붙는다. 엔지니어는 UI에서 편집하거나 Python 클라이언트로 변경을 밀어 넣는다. 그래서 프롬프트 조정이 누군가의 메모나 아무도 읽지 않는 공유 문서에 살 필요가 없다. 버전을 나란히 비교하면 더 나은 쪽을 고르기 쉽다. 추측은 없다.

모델, 프롬프트, 검색기를 바꾸고 몇 번의 클릭으로 데이터셋을 다시 생성한다. 교체가 정말 도움이 됐는지 가정하는 대신 확인하는 방식이 이것이다. 같은 데이터셋을 다른 구성으로 돌리면 결과가 나란히 맞춰진다.

Athina AI는 사람 QA 팀이 자동 평가와 나란히 일하도록 만들어졌다. 리뷰어는 평가 결과를 검증하고 브라우저에서 데이터셋에 주석을 달며 스크립트가 놓치는 미묘함을 잡는다. 그 피드백이 어떤 프롬프트와 모델을 출시할지 정한다. 자동 평가만으로는 많은 것을 놓치므로 사람의 한 번이 중요하다.

모든 것이 코드가 있어도 없어도 작동한다. 엔지니어는 Python SDK나 GraphQL API로 프롬프트, 플로, 평가를 프로그램으로 실행하고, 비기술 사용자는 화면에 머문다. 양쪽이 같은 데이터를 보므로 인수인계의 마찰이 줄어든다. 회의도 놀랄 일도 줄어든다.

실험, 데이터셋, 프롬프트는 팀 전체에 공유되지 한 사람의 계정에 갇히지 않는다. 비기술과 기술 사용자가 같은 실험에서 일하므로 품질 결정에 엔지니어만 참여하지 않는다. 모두가 같은 숫자를 본다.