Edgee

Edgee는 설정한 예산과 정책에 따라 각 요청을 라우팅하고, 모든 규칙 뒤에 구성 가능한 제공자 체인을 유지한다. 어떤 제공자가 5xx 오류를 반환하거나 타임아웃하면, 요청은 실패하는 대신 다음 모델로 넘어간다. 지출 한도에 닿으면 라우팅이 작업 도중 오픈 웨이트 모델로 바뀌므로, 코딩 세션이 멈추지 않고, 요청은 작업을 완전히 버리는 대신 코딩 작업에 벤치마크된 모델에서 계속된다. 세션은 깨지지 않는다. 긴 리팩터링 중에 이게 중요하다.

게이트웨이는 중복 토큰을 두 계층에서 줄인다. 입력 압축은 토큰 볼륨의 약 99%를 처리한다. 에이전트가 읽지만 다시 필요로 하는 일은 드문 도구 결과 페이로드, 부피 큰 파일 내용, 명령 출력을 줄이기 때문이다. 반면 출력 압축은 더 작지만 더 가치 있는 모델 응답의 흐름을 겨냥한다. Edgee는 이를 코딩 작업에 의미상 무손실이라고 설명한다. 즉, 청구 토큰은 줄면서 같은 모델 출력을 얻는다. 애플리케이션 코드 변경은 필요 없다.

비용과 사용량은 개발자별, 저장소별, PR별, 모델별로 나뉜다. 엔지니어링 리더는 월 청구서를 기다리지 않고 지출을 실시간으로 본다. Team 플랜은 개발자가 한도에 가까워질 때 알림이 있는 좌석별 지출 한도를 더하고, 저장소와 PR 귀속을 위한 GitHub 연동도 추가한다.

Edgee는 고정 월 요금으로 GLM, Kimi, MiniMax를 터보 속도로 제공한다. 이들은 라우팅 정책이 폴백하는 모델이며, 코딩 작업에 벤치마크되어 있다. 작업을 끝낼 만큼 품질을 가깝게 유지하는 더 저렴한 목표를 팀에 준다.

편의를 위해 Edgee의 제공자 키를 쓰거나, 청구 통제와 사용자 지정 모델을 위해 자체 키를 연결할 수 있다. Edgee는 이미 제공자에게 지불하는 토큰에 마진을 붙이지 않으며, 이 덕분에 BYOK 구성은 게이트웨이 쪽에서 비용 중립으로 유지된다.

같은 게이트웨이가 Docker Compose나 Helm으로 자체 인프라 안에서 돌아간다. 연결되거나 에어갭이어도 된다. 프롬프트, 응답, 제공자 키는 네트워크를 떠나지 않으며, 이 점이 규제를 받는 팀이 제품을 쓸 수 있게 만든다.

카탈로그는 모든 주요 제공자의 프런티어 및 오픈 웨이트 모델을 아우르며, 실시간 가격과 컨텍스트 크기를 갖춘다. 이 글을 쓰는 시점에 221개 모델과 974개 제공자 경로를 나열하며, 그중 어느 것이든 라우팅 규칙의 유효한 대상이다.

앱과 에이전트는 별도의 제공자 SDK를 다루는 대신 하나의 Edgee API로 LLM을 호출할 수 있다. 그 경로의 사용량은 플랜이 필요 없는 종량제이며, Edgee 크레딧을 충전할 때 5% 플랫폼 수수료로 청구된다.