UbiOps

디플로이먼트마다 버전이 붙은 HTTP 엔드포인트, 요청 큐, 입력 검증이 따라온다. 지원 런타임이나 자체 컨테이너에 코드를 넣으면 빌드와 기동, 공개까지 플랫폼이 처리한다. 새 버전은 이전 버전을 지우지 않고 승격하거나 되돌릴 수 있어서, 잘못된 배포는 클릭 두 번으로 복구된다.

플랫폼이 요청량을 지켜보며 인스턴스를 늘리고 줄인다. 제로 스케일은 쓰이지 않는 디플로이먼트를 완전히 내린다. GPU 모델 서빙에서는 이 정지가 비용을 가른다., 하루에 몇 번만 호출되는 모델이 24시간 유휴 GPU 비용을 물지 않는다. 인스턴스 타입 그룹을 쓰면 사내 GPU를 먼저 쓰고, 자리가 차면 클라우드로 넘어가게 할 수 있다.

AI 오케스트레이션은 대부분의 팀이 가볍게 보는 부분이고, 플랫폼의 값어치가 여기서 갈린다. 파이프라인은 여러 디플로이먼트를 하나의 호출 가능한 서비스로 묶고, 안에 있는 각 객체가 따로 스케일한다. 내장 오퍼레이터가 데이터 분할과 재구성, 필터링, 조건 분기를 맡으므로 손으로 쓰던 배선의 상당 부분이 사라진다. 파이프라인은 내보내기와 가져오기가 되고 동료와 공유할 수 있다.

서빙 외에 UbiOps는 같은 인프라에서 학습 작업도 돌린다. 실험이 환경과 코드, 하드웨어를 고정하고 학습 실행이 그 아래에서 움직인다. 결과는 웹앱에서 실행 간 비교가 가능하다. 산출물은 직접 관리하는 스토리지에 남으므로, 학습된 모델은 배포까지 한 단계만 남는다.

서비스는 디플로이먼트 안에 오래 살아 있는 HTTP 서버를 노출한다. 표준 요청 형식에 맞지 않는 고처리량 GenAI 서버를 이 방식으로 돌린다. 자체 도커 이미지와 결합하면 vLLM 계열 추론 스택, 다중 엔드포인트 앱, 원시 HTTP를 전제로 하는 것까지 감당한다.

로그와 사용 지표, 알림이 플랫폼에 포함되므로 고장 난 디플로이먼트가 사용자 신고보다 먼저 드러난다. 역할 기반 권한과 감사 기록, 암호화가 규정 준수 쪽을 덮고, 데이터 처리 설정으로 페이로드를 저장할지 직접 정할 수 있다.