GoModel

GoModel은 OpenAI, Anthropic, Gemini, Bedrock, Vertex, Azure, Groq, Ollama, vLLM 등을 단일 엔드포인트 뒤에 둔다. 공급자는 33개다. OpenAI와 Anthropic 요청 형식과 호환을 유지하므로 기본 URL만 바꾸고 이미 익숙한 SDK를 그대로 쓴다. 또한 공급자마다 여러 키를 라운드 로빈으로 돌려 부하를 분산하고, 키 하나가 제한될 때의 피해 범위를 좁힌다.

smart-chat 같은 안정적인 이름을 공개하고, 그 뒤의 실제 공급자와 모델을 앱 코드를 건드리지 않고 다시 매핑한다. 왜 중요한가. 팀은 예측 가능한 인터페이스를 얻고, 그 아래에서 무엇을 실험할지는 자유다. 이 프로젝트는 이를 앱 변경이 아니라 설정 변경으로 규정하는데, 바로 그게 요점이다.

공급자가 가용성 오류를 반환하면 GoModel은 다음 모델이나 공급자로 페일오버하고, 백오프로 재시도하며, 서킷 브레이커로 불안정한 업스트림을 흡수한다. 가상 모델을 가중 라운드 로빈으로 여러 대상에 분산시키거나, 비용 기반 라우팅이 요청을 처리할 수 있는 가장 저렴한 모델을 고르게 할 수도 있다. 페일오버는 자동이다. 매력은 전부 거기에 있다.

캐시, 감사, 사용량 추적, 예산, 가드레일, 페일오버는 모두 공급자, 모델, 사용자 경로별로 설정하는 토글이다. 워크플로는 버전이 관리되고, 가장 구체적인 범위가 우선하므로 한 경로는 감사 로깅을 요구하고 다른 경로는 더 가볍게 돌릴 수 있다. 유연하다. 조건문을 잔뜩 쌓지 않고도 팀마다 다른 동작을 적용하는 방식이다.

GoModel은 요청이 나가기 전에 시스템 프롬프트를 주입하거나 LLM으로 메시지를 다시 쓸 수 있다. 단계는 순서가 있는 그룹으로 실행되고, 병렬 그룹은 함께 돈다. 어조를 강제하고, 특정 콘텐츠를 차단하고, 입력을 중앙에서 정규화하는 방식이며, 모든 서비스에 그걸 요구할 필요가 없다. 중복 로직이 줄어든다.

완전 일치 캐시는 동일한 요청을 더 빠르고 더 저렴하게 돌려주므로, 같은 프롬프트가 두 번 값을 치르지 않는다. 이게 가장 중요한 곳은 에이전트 루프와 재시도다. 거기서는 거의 중복되는 호출이 쌓여 예산을 조용히 태운다. 작은 변화, 실제 절감.

요청별 추적은 지출을 팀, 테넌트, 기능에 매핑하며, 공급자 대시보드가 보여주는 단일 총합을 넘어선다. 감사 로그와 런타임 메타데이터는 모든 요청을 추적 가능하게 만들어, 폴백이 발동했는데 아무도 이유를 기억하지 못할 때 필요한 바로 그 역할을 한다. 추측은 없다.

게이트웨이는 내장 관리 UI와, SQLite, Postgres, MongoDB를 통해 워크로드에 맞춰 확장되는 저장소를 갖춘 단일 Go 바이너리로 제공된다. Prometheus 메트릭과 SSE 스트리밍도 포함되어, 관측성 연결점이 첫날부터 존재한다. 나중에 덧붙일 것은 없다.