General Compute

대부분의 추론 클라우드는 모든 것을 GPU에서 돌린다. General Compute는 디코딩 단계를 이를 위해 설계된 칩으로 보낸다. 운영 중인 SambaNova SN50과 가장 빠른 등급을 위한 Cerebras의 웨이퍼 스케일 하드웨어가 포함된다. 회사에 따르면 이 방식은 수조 파라미터 모델에서 사용자당 초당 1,000~2,000 토큰을 제공하며, 230B MoE를 돌리는 B300 랙의 초당 320 토큰 미만과 대비된다. 이 격차가 제품이 존재하는 이유 전부다. 큰 차이다. 디코딩은 메모리 병목 구간이라 GPU를 쌓아도 거의 움직이지 않는다.

API는 OpenAI와 같은 엔드포인트, 파라미터, 스트리밍 의미론을 쓴다. 오케스트레이터와 도구 정의, 재시도 로직을 그대로 유지한다. 대부분의 코드베이스에서 이전은 한 줄 변경이다. 그만큼 단순하다. 이미 OpenAI SDK에 깊이 들어간 팀에게 이는 주말 작업과 분기 하나를 다시 짜는 일의 차이다.

카탈로그는 범용 모델과 추론 모델을 아우른다. MiniMax M2.7은 192k 컨텍스트 창으로 채팅과 생성을 담당한다. DeepSeek V3.2와 V3.1은 수학, 코드, 분석을 위한 내장 사고 연쇄 추론을 더한다. GPT-OSS 120B는 오픈 가중치 팬을 위한 목록을 마무리한다.

사설 가중치를 배포할 수 있다. LoRA든 GGUF 파일이든 전체 미세 조정이든 상관없다. General Compute는 체크포인트를 컨테이너로 만들고, us-west-2에서 가속기를 연결하고, 사설 모델 ID 뒤에 노출한다. 그러면 자체 모델이 다른 모델 파라미터와 똑같이 동작하며 스트리밍과 도구 호출도 포함된다. 독점 가중치를 가진 팀에게 이 모델 호스팅 옵션은 소비자용 API 너머를 볼 이유가 된다.

셀프서비스 API를 넘어, SLA가 있는 단일 계약으로 전용 프리필과 디코딩 용량을 맺을 수 있다. root 접근이 되는 베어메탈, 세 공급자에 걸친 가격 보호 쿼터, 그리고 계약 기간 내내 프리필과 디코딩을 단일 서비스로 조율하는 체계를 얻는다.

쿼터는 SambaNova, Cerebras, Positron, d-Matrix에 걸쳐 분산되므로 한 칩 공급자에 묶이지 않는다. 예약한 디코딩 용량은 트래픽이 몰릴 때 짝을 이룬 B300 플릿으로 버스트해, 들쭉날쭉한 워크로드가 놀고 있는 랙을 남기지 않게 한다.