Prem AI

암호화 AI API의 바탕이 되는 구조다. 애플리케이션이 네트워크 호출 전에 요청 본문을 암호화한다. 게이트웨이가 다루는 것은 암호문과 모델 이름, 크기, 시각, 과금 같은 운영 메타데이터뿐이다. 본문을 복호화하는 곳은 추론을 실행하는 런타임 하나다. 게이트웨이 로그가 유출되거나 운영자가 들여다봐도 프롬프트 문구는 드러나지 않는다. OpenAI 형식만 이해하는 클라이언트에는 로컬 프록시 버전이 같은 보호를 제공한다. 키 암호화 키는 Prem에 전달되지 않는다.

보호된 요청은 증명 자료를 돌려줄 수 있다. CPU와 GPU의 서명, 최신성을 보이는 논스, 측정값이 승인된 참조값과 일치했는지 알려 주는 정책 결과가 들어간다. Prem은 검증 코드를 GitHub에 공개했으므로 보안팀은 대시보드 배지를 믿지 않고 직접 검사를 돌릴 수 있다. 증명은 AMD SEV-SNP, Intel TDX, NVIDIA 기밀 컴퓨팅을 아우르고, GPU를 여러 장 붙인 클러스터에서도 GPU마다 주장을 하나씩 검증한다.

기밀 추론은 OpenAI 호환 API와 별개로, 경로 전체를 암호화와 보호된 런타임에 통과시킨다. 민감한 데이터와 운영 워크로드를 겨냥한다. 제로 데이터 보존은 평범한 OpenAI 호환 엔드포인트로, 키 관리도 프록시도 필요 없다. Prem이 데이터를 보관하지 않기로 한 계약을 맺은 파트너에게 요청을 넘긴다. 두 번째 모드는 모델을 시험하고 프로토타입을 만들고 공개 데이터를 처리하는 값싼 길이다. 모드마다 카탈로그가 따로 있고, 잘못된 모드로 보낸 모델은 API가 분명한 400 오류로 거절한다.

카탈로그는 현재 오픈 가중치 모델을 중심으로 한다. Qwen 3.8, DeepSeek V4와 V4.1 계열, GLM 5.2와 5.3, Kimi K3, 판단 작업용 DiffusionGemma가 있다. 가격은 100만 토큰 기준이고 입력과 출력 요율을 모두 공개하며, 캐시된 프롬프트 토큰은 할인된다. 기밀 채팅은 가장 저렴한 모델에서 입력 100만 토큰당 $0.30에서 $0.35 정도이고, 오디오 전사는 분당 $0.05다. 보내기 전에 요율을 알 수 있다.

채팅은 모델에 따라 텍스트, 이미지, 영상을 받는다. 음성 경로는 오디오를 전사해 Deepgram 호환 결과를 준다. 판단 엔드포인트는 형식이 정해진 질문에 확률로 답하므로 문장이 아니라 숫자가 필요한 분류와 점수 산정에 어울린다. API 키 하나와 base URL 하나로 전부 닿으므로 규제 파이프라인에 흔히 필요한 연결 코드가 줄어든다.

관리형 서비스는 스위스 데이터센터에서 돌아가고 가동률은 99.98% 부근을 약속하며 재생에너지를 쓴다. 호스팅 API를 쓸 수 없는 팀은 Enclave 하이퍼바이저를 기존 GPU 클러스터에 설치한다. 온프레미스든 퍼블릭 클라우드 계정이든 프라이빗 클라우드든 상관없고, Prem은 거기서 처리한 데이터를 읽을 수 없다고 밝힌다. 기업 배포는 전용 인스턴스, 모델 개별 선택, 외부 네트워크와 분리된 구성까지 제공한다.

Prem이 그리는 더 큰 그림은 소버린 AI다. 데이터, 연산 자원, 모델을 사용자 통제 아래 두는 개념이고, 하나의 계정을 중심으로 세 제품을 판다. Fluso는 코드를 쓰지 않고 사내 절차에 에이전트를 배치하려는 팀을 위한 노코드 빌더다. Prem Studio는 자체 데이터로 모델을 미세 조정하고 압축하며, 가중치는 내보내 직접 호스팅할 수 있다. 둘 다 API를 대신하지는 않지만, 큰 모델을 빌리는 대신 작은 모델을 소유하려는 경우라면 의미가 있다.