TrueFoundry AI Gateway

단일 엔드포인트가 OpenAI, Anthropic, 자체 호스팅 모델 등에 연결한다. 그래서 공급자를 바꾸거나 추가하는 일은 코드 변경이 아니라 설정 변경이다. 앱은 같은 URL을 계속 호출하고, 공급자 간 차이는 게이트웨이가 처리한다. 이것이 핵심 약속이다. 여러 벤더를 다루는 팀에게는 접착 코드를 크게 줄여준다.

게이트웨이는 각 요청을 어느 모델이 처리할지 고르고, 공급자가 느리거나 중단되면 트래픽을 자동으로 돌린다. 규칙은 한 번만 정하면 된다. 트래픽은 수동 페일오버 없이 규칙을 따른다. 고객에게 맞닿은 모든 기능에서 자동 장애 대체는 잠깐의 버벅임과 장애의 갈림길이다.

팀, 사용자, 프로젝트별로 사용량에 상한을 두고 그 상한 대비 토큰 소비를 추적할 수 있다. 이렇게 해서 실험용 스크립트 하나가 모두를 위한 예산을 먹어치우는 일을 막는다. 제품이 제공하는 AI 비용 통제 중 가장 명확한 형태다. 예산은 또한 AI 지출이 실제로 어디로 가는지 재무 부서에 더 또렷한 그림을 준다.

내장 가드레일이 모델 입력과 출력을 정책에 비추어 검사하고, 선을 넘는 응답을 차단하거나 표시할 수 있다. 무료 요금제에는 내장 규칙만 들어 있다. 더 완전한 통제는 유료 요금제가 필요하다. 앱이 사용자 생성 프롬프트를 다룬다면, 이 계층이 나쁜 출력이 검증 없이 공개되는 것을 막는다.

모든 요청은 지연 시간, 토큰 수, 결과와 함께 기록되고, 로그 보존은 무료 요금제 7일, Pro 30일이다. 추적은 OpenTelemetry 호환이라 단일 대시보드에 가두지 않고 Grafana, Datadog, Prometheus로 보낼 수 있다. 프롬프트부터 모델 응답까지 전체 경로를 볼 수 있다는 점이 불투명한 AI 기능을 디버깅 가능한 무언가로 바꾼다.

MCP 게이트웨이는 중앙화된 탐색, 인증, 접근 제어로 에이전트를 도구와 MCP 서버에 연결한다. 에이전트는 스스로 키를 들고 있지 않고 게이트웨이를 통해 자격 증명을 받는다. 이렇게 하면 도구 접근이 감사 가능하게 유지된다. 에이전트형 워크플로를 만드는 팀에게 스크립트마다 키를 흩뿌리는 것보다 낫다.

게이트웨이는 SaaS로, 자체 VPC 안에서, 온프레미스로, 또는 에어갭 환경에서 돌아간다. TrueFoundry는 자체 호스팅 경로에서 데이터가 자사 도메인을 떠나지 않는다고 밝힌다. 이 유연성 덕분에 규제 산업의 구매자에게 어필한다. 규정 준수 규칙에 맞는 배포 방식을 고르면 된다.