Cerebrium

Cerebrium은 1~3초에 컨테이너를 띄운다. 필요한 파일만 가져오는 Content-Aware Storage와, 임포트·모델 로딩·CUDA 컴파일을 건너뛰는 메모리와 GPU 체크포인팅을 함께 쓰기 때문이다. 빠른 기동은 실시간 앱에서 가장 중요하다. 첫 요청이 느리면 사용자에게는 고장 난 제품으로 보인다.

cerebrium.toml에서 GPU 종류와 수, vCPU 코어, 메모리를 정한다. NVIDIA의 H100, A100, L40s 같은 카드 중에서 고른다. 인스턴스는 트래픽에 맞춰 늘고 줄어서, 한산한 시간은 저렴하고 붐비는 시간도 감당한다. 할당한 자원만 초 단위로 지불한다.

한 번의 배포로 여러 리전에 걸쳐 지연을 낮추고 가용성을 높이거나, 데이터 상주를 위해 한 리전에 고정할 수 있다. Cerebrium은 Google Cloud, AWS, Azure에서 돌고 99.999% 가동률을 내세운다. 한 리전이 죽으면 장애 조치가 트래픽을 돌린다.

앱은 REST API, server-sent events 기반 스트리밍, 양방향 음성용 WebSocket, ASGI 호환 웹 서버를 모두 제공한다. 이 폭 덕분에 단순한 JSON 호출과 실시간 음성 세션이 같은 기반에 올라간다.

레플리카 수, 확장 지표, 연산 등급을 설정하고 실제 트래픽에 맞춰 동시성과 배칭을 조정한다. vLLM이나 LitServe의 프레임워크 기본 배칭이 GPU 처리량을 끌어올려, 부하가 걸릴 때 요청당 비용을 낮춘다.

볼륨은 배포 사이에도 모델 가중치와 파일을 보관한다. CLI에 업로드, 다운로드, 목록 명령이 있고 프로젝트 단위로 1TB까지 키운다. 가중치는 기동 사이에 남아 있어 컨테이너가 매번 다시 받지 않는다.

각 워크로드는 gVisor 위의 강화된 샌드박스에서 돈다. 성능 손해를 크게 키우지 않으면서 컨테이너 격리를 강하게 준다. 플랫폼은 SOC 2, HIPAA, GDPR, ISO를 충족하고 비밀 값은 암호화해 환경 변수로 넘긴다.

앱을 GitHub 저장소에 연결하면 푸시나 머지가 배포를 실행한다. 파이프라인에서는 서비스 계정 키를 쓴다. 점진적 롤아웃 설정은 정해진 시간 동안 리비전 사이로 트래픽을 옮겨, 나쁜 버전이 운영에 나갈 위험을 줄인다.