Cerebras

이 서비스를 뒷받침하는 칩 세대는 WSE-3이며, 웨이퍼 스케일 엔진(Wafer-Scale Engine)이 핵심이다. Cerebras는 네트워크로 연결한 여러 작은 다이가 아니라 웨이퍼 스케일 엔진에서 추론을 실행한다. 연산과 메모리를 실리콘 한 장에 두면 클러스터 GPU를 느리게 만드는 칩 간 이동이 사라진다. 회사는 GPU 시스템보다 최대 30배 빠른 추론을 보고하며, 실제 결과는 부하와 모델에 따라 달라진다.

api.cerebras.ai/v1의 엔드포인트는 OpenAI 클라이언트에 대응하므로 base URL과 모델 이름만 바꾸면 기존 코드가 대개 그대로 돈다. Cerebras는 Python과 Node.js SDK를 제공하고, cURL 호출은 설치 없이도 된다. 이전 비용을 낮추는 기능이 바로 이것이다.

공유 추론은 공개 카탈로그를 온디맨드로 돌리고 모델별 상한을 두며 설정이 필요 없다. Dedicated Inference는 한 조직을 위해 용량을 확보하고 안정적인 엔드포인트, 조정 가능한 처리량, 자체 가중치, 관리 API, 배치 API, Prometheus 호환 지표를 더한다.

모델은 reasoning_effort 설정을 제공하며 none, low, medium, high 네 단계로 지정할 수 있다. 어려운 작업에서는 사고를 키우고 단순한 작업에서는 끌 수 있다. reasoning_format 옵션은 사고 토큰을 따로 돌려줄지, 답변 앞에 붙일지, 숨길지를 정한다.

한도는 분, 시간, 일당 요청 수와 토큰 수로 측정하며 먼저 닿는 쪽이 적용된다. 캐시된 토큰은 미캐시 한도를 차감하지 않으므로 캐시 적중률이 높으면 같은 할당 안에서 실효 처리량을 몇 배로 늘릴 수 있다. 개발자 계정은 시간당과 일당 상한이 아예 사라진다.

기업 사용자는 관리 API로 엔드포인트, 배포, 레플리카를 정의한다. 미세 조정한 가중치를 표준 버전과 나란히 배포하고 용량과 양자화를 조정하며 모델 구조에 따라 요청을 보낼 수 있다. 앱이 이미 호출하는 엔드포인트 ID는 바꿀 필요가 없다.

공유 모델 두 개를 넘어 Dedicated Inference는 Qwen3와 Qwen3-Coder, GPT OSS, Llama 3와 4, Mistral과 Devstral, GLM 4와 5, Kimi K2, DeepSeek V3, Gemma 4 등을 지원한다. Gemma 4 같은 멀티모달 모델은 이미지 입력을 받고, 각 모델은 지연이나 처리량에 맞춰 조정할 수 있다.

배치 API는 대량의 비동기 작업을 전용 용량에서 실행하므로 즉각 응답이 필요 없는 일에 맞는다. 예상 출력을 함께 쓰면 기대하는 내용을 넘겨 지연을 더 줄일 수 있다.