GMI Cloud

GMI Cloud는 NVIDIA 하드웨어에서 돌아가는 AI 워크로드용 클라우드 플랫폼이다. 작업을 두 계층으로 나눈다. 곧바로 실행해야 하는 모델을 위한 서버리스 추론과, 직접 통제하려는 원시 연산력이 필요한 팀을 위한 전용 GPU 클러스터다. 둘 다 같은 계정에 있어서 확장이 곧 이전을 뜻하지는 않는다.

대부분의 GPU 클라우드는 한쪽을 고르게 만든다. API 접근을 빌리면 한계에 부딪힌다. 베어메탈을 빌리면 오케스트레이션, 네트워킹, 비용 계산을 직접 떠안는다. 새벽 2시에 트래픽 급증이 책상 위로 떨어지기 전까지는 괜찮다. GMI Cloud는 수요 변화에 따라 워크로드가 두 모드 사이를 오가게 해서 그 간극을 좁히려 한다.

회사는 2023년에 설립됐고 본사는 실리콘밸리에 있으며, 북미, 유럽, 아시아에 데이터센터를 두고 있다. Reference Platform NVIDIA Cloud Partner 자격을 보유한데, 이 인증을 가진 공급자는 소수뿐이다. 공급 측면에서 중요하다. 희소한 GPU 할당은 하드웨어 벤더가 잘 아는 파트너에게 먼저 돌아가는 경향이 있기 때문이다.

가장 큰 제약은 대상 독자다. GMI Cloud는 인프라 제품이지 소비자용 앱이 아니다. 일반 사용자를 위한 친절한 화면은 없고, 요금도 월 정액제가 아니라 GPU 시간을 중심으로 짜여 있다. 모델과 그냥 대화하고 싶다면 이 도구가 아니다. 모델을 배포한다면 바로 당신을 위한 것이다.

시작하기

1. console.gmicloud.ai에서 계정을 만들고 서버리스 추론이나 GPU 인프라를 고른다.
2. 추론용 API 키를 콘솔에서 생성하거나, 학습과 파인튜닝용으로 전용 GPU 인스턴스를 예약한다.
3. API 작업이라면 카탈로그에서 모델을 고르고, 베어메탈 GPU에서 자체 스택을 구성한다.
4. 테스트 요청이나 작업을 돌리고 콘솔에서 지연 시간, 처리량, 지출을 확인한다.
5. 사용 패턴이 안정되면 클러스터를 추가하거나 약정 용량으로 옮겨 확장한다.