ZenMux

이 멀티 모델 API 카탈로그에는 OpenAI, Anthropic, Google, DeepSeek 등 주요 연구소의 최상위 모델과 저가 모델이 함께 있다. 모두 같은 자격 증명으로 호출한다. 새 모델은 대개 공개 후 며칠 안에 올라오고, 모델 페이지마다 공급자도 적혀 있다. 지갑 하나로 전부 결제하니 공급자마다 충전을 반복할 일이 없다.

ZenMux는 세 가지 API 방언을 쓴다. OpenAI 호환 엔드포인트는 대부분 도구를 커버하고, Anthropic 프로토콜은 Claude 기반 워크플로를 그대로 살린다. Vertex AI 경로는 Google Cloud 구성에 대응한다. LangChain, LlamaIndex, Anthropic SDK를 쓰던 팀은 엔드포인트만 바꾸면 된다. 비용과 지연 보고 방식은 어느 프로토콜이든 같다.

모든 호출은 품질, 지연, 처리량 기준으로 검사되고, 기준을 벗어난 건 다음 날 크레딧으로 보상된다. 크레딧은 은행 계좌가 아니라 ZenMux 잔액으로 들어간다. 앞으로 쓸 사용료를 깎아 주는 셈이다. 표시된 응답은 익명 실패 사례로도 돌아와, 평가 세트에 합성 데이터 대신 실제 실패를 넣을 수 있다.

Auto를 켜면 게이트웨이가 요청을 읽고 가장 싸게 좋은 결과를 낼 모델을 고른다. 판단 근거는 플랫폼 전체의 과거 성능이다. 짧은 추출은 저가 모델로, 무거운 추론은 최전선 모델로 간다. 결정 로그에 무엇을 왜 골랐는지 남아, 결과가 이상할 때 원인을 추적할 수 있다.

대부분 모델은 두 개 이상 경로로 공급되고, 인기 모델에는 예비 용량도 확보돼 있다. 공급자가 속도를 제한하거나 오류를 내거나 특정 지역에서 끊기면, 이용자 코드를 건드리지 않고 예비 경로로 넘어간다. 요청은 이용자와 가까운 Cloudflare 엣지 노드에서 처리돼, 미국 밖 팀은 네트워크 왕복만큼 지연이 줄어든다.

콘솔은 입력 토큰, 출력 토큰, 첫 토큰까지 걸린 시간, 처리량, 청구 금액을 요청마다 기록한다. 지출은 프로젝트, 모델, 날짜로 묶을 수 있고, 같은 프롬프트를 모델별로 비교해 품질 차이를 확인할 수 있다. 원본 메타데이터는 API 응답에도 담긴다. 비용 데이터를 대시보드에 가두지 않고 자체 리포트로 보낼 수 있다.