LLM Gateway

이 LLM 게이트웨이는 OpenAI API 형식으로 말한다. AI API 게이트웨이이자 오픈소스 AI 게이트웨이로서 여러 공급자를 하나로 묶는다. 그래서 채팅 완성, 임베딩, 이미지, 음성, 전사가 기존 SDK로 그대로 동작한다. 바꾸는 건 베이스 URL과 모델 이름뿐이다. OpenAI SDK를 이미 쓰는 팀에게 이것이 마이그레이션의 전부다.

요청은 가격, 지연, 처리량, 가동률로 모델 라우팅할 수 있고, 공급자/모델 형식으로 특정 공급자를 고정할 수 있다. LLM 장애 조치가 붙어, 모델 이름만 적은 요청은 첫 공급자가 실패하면 그 모델을 제공하는 다른 공급자에서 재시도한다. 깔끔한 오류를 보고 싶다면 X-No-Fallback: true 헤더로 이 동작을 막을 수 있다.

반복 요청은 Redis 기반 캐시에서 처리할 수 있어, 동일한 프롬프트의 지연과 비용을 함께 줄인다. 공급자 자체의 캐시 제어도 그대로 통과하므로 그 동작은 유지된다. 트래픽이 큰 앱일수록 청구서에서 먼저 체감한다.

게이트웨이는 프롬프트 주입 방어, 개인정보 탐지와 마스킹, 비밀 정보 탐지, 자체 규칙 엔진을 엣지에서 적용한다. 정책은 모든 요청이 지나는 같은 지점에서 돌고, 각 앱에 흩어지지 않는다. 민감한 입력을 다루는 팀은 통제 지점을 하나로 모은다.

공급자 키는 암호화해 보관하고, 사용량과 지출 상한, 완전한 감사 기록을 지닌 프로젝트 단위 API 키와 짝지어 둔다. 앱 코드를 건드리지 않고 키를 교체할 수 있다. 커지는 팀이 생 공급자 키를 돌려 쓰지 않게 해주는 기능이다.

호스팅 게이트웨이를 쓸 수도 있고, AGPLv3 코드를 Docker, Compose, Kubernetes로 자체 인프라에 돌릴 수도 있다. 자체 호스팅은 무료이며, 라우팅부터 분석까지 모든 것이 같은 방식으로 동작한다. 선택은 가동률을 누가 책임질지로 좁혀진다.