Inferless

서버리스 추론에서 가장 어려운 부분은 잠든 모델이 응답하려고 깨어나는 대기 시간, 이른바 콜드 스타트다. Inferless는 자체 오케스트레이션 엔진과 고성능 라우터, 자체 스토리지 계층을 함께 묶어 여기에 맞선다. 대형 모델도 1초 미만으로 응답한다고 회사는 설명한다. 덕분에 0으로 내리는 구조가 사용자 대상 앱에서도 현실성이 있다. 채팅이나 검색 기능이 모델 로딩을 10초 기다려야 한다면 서버리스의 값어치는 사라진다.

Inferless는 트래픽에 맞춰 엔드포인트를 올리고 내린다. 돌아가는 GPU가 하나도 없는 상태에서 동시에 수백 장까지 넓어진다. 자체 로드 밸런서가 요청을 나누고 적은 부담으로 용량을 늘리거나 줄인다. 예측하기 어렵게 튀는 부하에 맞는다. 최대 용량을 미리 준비할 필요도, 한산할 때 그 비용을 낼 필요도 없다.

모델은 Hugging Face, GitHub, AWS S3, Google Cloud Storage, Docker, Inferless CLI에서 가져올 수 있고 나머지는 플랫폼이 처리한다. ML 팀이 이미 쓰는 저장소에서 클릭 한 번으로 가져오면 준비 작업이 줄어든다. 모델을 운영에 올리는 일이 파일 전송으로 시작하지 않는다. Azure 지원은 곧 제공될 예정이다.

PyTorch, TensorFlow, ONNX 모델을 돌리고 자체 Python 함수도 받는다. 이 유연성 덕분에 특정 프레임워크나 모델 형식에 묶이지 않는다. 실행 환경과 패키지는 YAML로 맞추므로 추가 라이브러리를 넣는다고 서버를 처음부터 쓸 필요가 없다.

작은 모델에 GPU를 통째로 빌리는 대신 여러 모델과 작업이 같은 GPU를 공유하게 한다. 자동 재분배와 노드 드레이닝도 붙는다. 분할 GPU도 쓸 수 있어 A100의 일부만 필요한 모델이 카드 전체를 지불하지 않아도 된다. 작은 모델을 많이 돌리는 팀에게 이 공유는 가능과 너무 비쌈을 가르는 기준이 되곤 한다.

Inferless에는 Prometheus 지표와 Grafana 대시보드가 있어 GPU 사용량과 다른 건강 신호를 추적한다. 새 모델 버전은 CI/CD 파이프라인으로 배포하므로 인프라를 손으로 다시 만들지 않고 업데이트를 낸다. 같은 흐름에서 바로 쓸 수 있는 API 엔드포인트가 나오고, 백엔드에도 프런트엔드에도 끼워 넣을 수 있다.