Modal

Modal은 요청량에 따라 컨테이너를 자동으로 늘리고 줄이므로 클러스터를 관리하거나 용량을 예약할 필요가 없다. 주요 클라우드의 자원을 모으고, 쓸 수 있는 하드웨어와 비용을 기준으로 코드가 돌 곳을 고른다. 불규칙한 트래픽에서는 빈 채로 놀아 있는 예약 머신에 내는 것보다 낫다. 추론 콜드 스타트는 1초 아래로 내려가기도 해, 대화형 앱에 충분히 빠르다.

과금은 예약 하드웨어의 시간이 아니라 실제 컴퓨트의 초 단위로 정해진다. 아무것도 돌지 않으면 플랜 외에는 돈을 내지 않는다. 팀이 출렁이는 작업을 이곳으로 옮기는 핵심 이유다. 낮에는 몇 시간 돌고 밤에는 조용한 서비스라면 바쁜 시간만큼만 낸다. 리전 선택, 선점되지 않는 실행, 네트워크 이그레스는 기본 요율에 더해 부과된다.

YAML도, 대시보드 배선도, 별도의 인프라 저장소도 없다. 컨테이너 이미지, GPU 사양, 스케줄, 시크릿, 네트워크 규칙을 앱 로직 옆에 Python으로 선언한다. 덕분에 환경이 재현 가능하고, 이를 쓰는 코드와 같은 pull request에서 검토할 수 있다. 인프라가 코드와 함께 이동하니 동료를 합류시키는 일도 클론 하나 거리다.

필요한 GPU를 함수 단위로 지정한다. 소비자용 카드부터 H100 같은 데이터센터용 고성능 칩까지 지원하며 Modal이 용량을 찾는다. 학습과 파인튜닝에는 단일·다중 머신 실행이 있고, 오토스케일링은 수천 GPU에 걸친 급증도 감당한다. 할당량을 협상하거나 더 받으려고 지원 티켓을 열 필요가 없다.

Modal Sandboxes를 쓰면 AI 에이전트나 사용자가 생성한 코드를 실행할 격리되고 안전한 컨테이너를 만들 수 있다. 프로그램으로 100만 개 규모의 동시 샌드박스를 1분 안에 만들 수 있는데, 각 사용자 요청이 자기 실행 환경을 여는 에이전트 제품에 필요한 능력이다. 신뢰할 수 없는 코드가 프로덕션 시스템을 건드리지 못하게 하는 보안 계층이다.

같은 플랫폼이 저지연 추론, 비동기 배치, 파인튜닝, 강화 학습, GPU 지원 노트북을 아우른다. 세 업체를 꿰맬 필요가 없다. 한 팀이 모델을 제공하고, 야간 파인튜닝을 돌리고, 살아 있는 노트북을 동료에게 넘기는 일을 인프라 교체 없이 한다. 모델 제공용 OpenAI 호환 엔드포인트도 갖춰져 있다.