RunPod

Runpod는 AI와 머신러닝 작업을 위해 만든 클라우드 컴퓨팅 플랫폼입니다. Zhen Lu와 Pardeep Singh가 2021년에 세웠습니다. 계기는 많은 개발자가 부딪히는 같은 벽이었습니다. H100 대여를 비롯한 GPU 조달은 느리고 비쌌으며 서류 작업에 파묻혀 있었습니다. Runpod의 답은 사용한 만큼 내는 방식입니다. 몇 초 만에 GPU를 띄우고, 예약한 시간이 아니라 초 단위로 지불합니다. 이 구조가 작은 팀이 보는 GPU 클라우드 가격을 다시 썼습니다.

플랫폼은 하드웨어를 두 풀로 나눕니다. Community Cloud는 파트너 데이터센터의 유휴 GPU를 쓰며 더 저렴한 선택지입니다. Secure Cloud는 인증된 데이터센터에서 돌아가고, 안정적인 성능과 규정 준수를 요구하는 운영 워크로드에 맞습니다. 두 풀 모두 같은 핵심 제품을 제공하므로, AI 모델을 GPU Pods에 전용 인스턴스로 배포하고, 서버리스 GPU로 공개하고, 요청 기반 처리에는 AI 추론 API를 쓰고, 다중 노드 학습에는 Clusters를 예약할 수 있습니다.

가장 큰 제약은 환경을 직접 관리한다는 점입니다. Runpod는 기계와 네트워크를 주지만, 프레임워크 설치와 모델 업로드, 성능 조정은 사용자 몫입니다. 설정이 전혀 필요 없는 완전 관리형 모델 API를 원한다면, 그 작업은 Runpod가 아니라 사용자에게 남습니다.

Getting Started

1. Runpod 계정을 만들고 크레딧을 충전합니다. 대부분의 워크로드는 선불이고, 새 계정에는 보통 시작 크레딧이 붙습니다.
2. 배포 콘솔에서 GPU와 클라우드 유형을 고르거나, PyTorch 등이 미리 설치된 템플릿을 씁니다.
3. Pod를 시작하고 SSH, Jupyter, 웹 터미널로 접속합니다.
4. 추론이라면 직접 만든 컨테이너로 서버리스 엔드포인트를 배포하거나 Runpod Hub의 템플릿을 씁니다.
5. 엔드포인트로 요청을 보내고, 워커의 증감은 자동에 맡깁니다.