Ultra AI

모든 요청은 https://api.ultraai.app/v1로 모인다. 공식 OpenAI SDK를 고치지 않고 그대로 쓸 수 있다. 공급사와 모델은 코드가 아니라 요청 안에서 지정한다. 이 엔드포인트 덕분에 공급사 교체는 스프린트 하나가 아니라 몇 분이면 끝난다.

프롬프트는 저장소 파일이 아니라 대시보드에 있다. 고치고, 버전을 남기고, 키로 불러 쓴다. 문구 수정이 배포에 섞이지 않는다. 지시문을 매일 손보는 팀일수록 효과가 크다.

모드는 두 가지면 대부분 커버된다. 동일 요청을 위한 정확 일치 캐시, 같은 뜻의 프롬프트를 위한 유사도 캐시다. 유사도 기준과 유효 기간은 호출마다 정한다. 회사는 API 비용을 최대 10분의 1로 줄인다고 설명하지만 실제 폭은 트래픽이 얼마나 겹치는지에 달렸다.

호출마다 지연 시간, 토큰 수, 비용, 지나간 경로가 기록된다. 집계 화면에서는 모델별 지출과 오류율 추이를 본다. 직접 만든 게이트웨이가 대개 빠뜨리는 관측성 영역이고, 팀이 이 도구를 계속 쓰는 이유도 여기에 있다.

모델 여러 개를 우선순위대로 적어두면 호출이 실패할 때 다음 모델로 넘어간다. 공급사 한도, 시간 초과, 서비스 오류를 모두 처리한다. 사용자가 보는 것은 오류 화면이 아니라 조금 느린 답변이다.

한도는 요청에 실어 보내는 사용자 ID에 붙고, 요청 수와 시간창을 함께 쓴다. 전체 설정을 건드리지 않고 특정 계정만 조일 수 있다. 프리미엄 무료 모델을 쓰는 제품에서는 하루 망친 날과 청구서 충격을 가르는 차이다.