Helicone

설치 작업은 베이스 URL 변경과 API 키 발급뿐이라 기존 OpenAI, Anthropic, Azure, LiteLLM 클라이언트는 코드 구조를 그대로 유지한다. 서버에 설치할 것도, 돌릴 에이전트도 없다. 가입한 날 오후에 로그가 보이는 이유다. 프록시 방식은 HTTP 요청을 보낼 수 있는 언어라면 무엇이든 쓸 수 있다.

각 항목에는 프롬프트 전체, 모델 응답, 토큰 수, 지연 시간, 계산된 비용이 남는다. 모델, 상태, 시간대, 직접 정의한 속성으로 걸러 보고 요청 하나를 열어 시간이 어디로 갔는지 확인한다. 이 수준의 프롬프트 기록은 막연한 불만을 고칠 수 있는 한 줄의 텍스트로 바꾼다.

AI 게이트웨이는 OpenAI와 호환되는 엔드포인트로 OpenAI, Anthropic, Google, Vertex, Groq 등 100개 이상 모델을 다룬다. 응답 캐시, 키별 요청 한도, 제공자 장애 시 자동 폴백을 더하며 크레딧은 제공자 가격 그대로 청구하고 웃돈을 붙이지 않는다. 결제를 분리하고 싶으면 자체 제공자 키를 써도 된다.

직접 정의한 속성으로 사용자 ID, 요금제, 기능 이름, 그 밖의 태그를 요청에 붙일 수 있다. 세션은 여러 턴의 대화를 한 화면으로 묶어 실제 고객 여정의 비용과 길이를 보여 준다. 고객지원팀에게는 "봇이 느리다"와 "이 계정은 매번 12초짜리 도구 호출에 걸린다"의 차이다.

플레이그라운드는 프롬프트를 여러 모델에 나란히 보내고, 사고 설정을 공개한 모델에서는 그 항목도 보여 준다. 프롬프트는 저장, 버전 관리, 코드 재사용이 가능하고 출력에 점수를 매길 수 있어 변경 여부를 감이 아니라 결과로 판단한다. 더 싼 모델에 실제 트래픽을 보내기 전에 시험하는 가장 빠른 길이다.

알림은 비용, 오류율, 지연 시간 임계값에서 발생하고 예약 리포트는 요약을 이메일이나 Slack으로 보낸다. 내장 쿼리 언어 HQL은 대시보드 필터로 표현할 수 없는 질문을 처리한다. 최근 30일 사용자별 비용이 그런 예다. 결과는 내보내거나 API로 데이터 웨어하우스에 넣는다.

코드는 Apache 2.0으로 공개돼 있고 GitHub 별이 수천 개이며 릴리스 주기도 꾸준하다. Docker로 스택 전체를 사내 클라우드에서 돌릴 수 있다. 프롬프트에 법무팀이 외부로 내보내지 못하는 고객 데이터가 들어 있을 때 이 점이 크다. 호스팅 버전과 자체 호스팅 버전은 같은 대시보드와 API를 쓴다.