Constellation Gate AI

Gate는 모델에 도달하기 전의 모든 요청과 그 이후의 모든 응답을 검사한다. 흔한 세 가지 공격 경로를 다룬다. 직접 프롬프트 인젝션, 탈취된 도구 호출을 통한 간접 인젝션, 자격 증명이나 개인 데이터 유출이다. 이동 중에 탐지하므로 공격은 모델이 보기 전에 멈춘다. 이 회사는 16개 공개 데이터셋에서 평균 F1 96.6%를 보고하며, Lakera Guard의 83.7%와 비교한다. 이 수치는 Gate 자체의 벤치마크 보고서에서 나온 것이므로 제공업체 주장으로 봐야 한다.

Gate는 제공업체로 향하는 도중에 각 요청을 처리하고 토큰 낭비를 제거한다. 중복 내용, 반복된 파일 읽기, 도구 호출 오버헤드를 없애되 어떤 내용이든 첫 번째 사본은 그대로 둔다. 그래서 모델은 같은 내용을 받고 같은 답을 돌려준다. 이 회사의 예시 요청에서는 6,500토큰 호출이 5,162토큰으로 줄어 20.6%를 절감했고, 토큰 비용 절감은 여기서 나온다.

응답에 섞여 나가는 민감한 데이터는 조용한 위험이다. 답 한 번이면 주민번호, API 키, 내부 메모가 노출되기에 충분하기 때문이다. 게이트웨이에서의 개인 데이터 마스킹이 이를 제때 잡는다. Gate는 응답이 앱으로 돌아오기 전에 개인 데이터, 건강 정보, 자격 증명을 정리하므로 유출은 우리 쪽에서 일어나지 않는다.

에이전트형 시스템은 끊임없이 반복한다. 같은 파일 읽기. 같은 재시도. 같은 도구 호출의 루프. 동일한 요청이 두 번째로 들어오면 Gate는 제공업체를 호출하는 대신 저장된 응답을 돌려준다. 캐시 적중은 토큰을 전혀 쓰지 않는다.

Pro에서는 조직, 프로젝트, API 키 단위로 지출, 토큰, 요청 속도 상한을 설정할 수 있다. 에이전트가 한도에 닿으면 Gate는 카드가 아니라 요청을 멈춘다.

모든 메시지는 Constellation Digital Evidence로 지문이 남는다. 이것이 각 모델 호출의 불변 기록을 만든다. AI 감사 추적은 워크스페이스 전반의 비용, 토큰, 지연 시간을 담고, 대화 스레딩은 한 번의 에이전트 실행을 처음부터 끝까지 따라갈 수 있게 한다.

하나의 베이스 URL이 OpenAI, Anthropic과 다른 제공업체를 아우르므로 각 엔드포인트를 쫓아다니는 대신 Gate를 한 번만 설정하면 된다. Gate의 키로 종량제로 결제하거나 자신의 제공업체 키를 가져와 제공업체에 직접 계속 결제할 수 있다.