Auriko

Auriko는 표준 OpenAI 클라이언트로 작동하는 엔드포인트를 제공하므로, 전환은 보통 base URL과 키를 바꾸는 일로 끝난다. 공급자별 기능은 추가 요청 필드로 계속 쓸 수 있어, 통합 인터페이스를 얻으려고 기능을 포기할 필요가 없다. 이미 OpenAI SDK를 쓰는 팀이라면 마이그레이션은 스프린트가 아니라 분 단위로 측정된다.

겉으로 보이는 가격은 많은 걸 숨긴다. 프롬프트 캐시가 바로 그 지점이다. Auriko는 당신의 워크로드가 각 공급자의 캐시 규칙과 어떻게 맞물리는지 모델링하고, 요청마다 가장 저렴한 적격 공급자로 라우팅한다. 반복 컨텍스트가 있는 워크로드에서 가장 중요하며, 캐시 적중은 실효 비용을 표시 요율보다 훨씬 크게 흔든다. Auriko를 단순 로드 밸런서와 갈라놓는 기능이다.

비용, 첫 토큰까지의 시간, 처리량 또는 균형 잡힌 혼합을 겨냥할 수 있고, P95 초당 토큰 수 하한이나 입력 비용 상한 같은 제약을 걸 수 있다. 자체 가중치로 어떤 프리셋도 맞지 않을 때 자기 목표를 정의할 수 있다. 요청을 데이터 보존 제로 공급자나 구조화 출력을 반환하는 공급자로 제한할 수도 있다.

모든 요청에 이중화를 실을 수 있어, 성능이 떨어진 공급자나 소진된 키가 사용자에게 보이는 오류로 바뀌지 않는다. 큰 차이다. Auriko는 공급자와 키 전반의 용량을 추적하고, 온디맨드 급증에는 전 세계 용량 예비분을 동원할 수 있다. 실제로는 장애와 잠깐의 끊김 사이의 차이다.

자기 키를 가져오거나 Auriko의 플랫폼 키를 쓰거나 둘을 동시에 돌린다. 오케스트레이션 엔진은 키 사용률을 최대화하도록 작동하며, 이는 여유를 더 사는 대신 이미 지불하는 속도 제한을 늘려 쓸 수 있다. 제한은 모드에 따라 다르고, BYOK가 대체로 더 높은 상한을 받는다.

대시보드는 경로별로 나눈 비용과 지연 시간을 보여주고, 빠른 테스트용 플레이그라운드도 제공한다. 예산 한도와 알림은 워크스페이스나 개별 API 키 단위로 설정할 수 있어, 하나의 폭주 작업이 조용히 계정을 비우지 않는다.

요청은 지연 시간에 맞춰 조정된 전 세계 분산 엣지 네트워크를 지나므로, 사용자나 공급자가 어디에 있든 응답 시간이 안정적이다. 그렇지 않으면 직접 조립해야 할 부분이다.