Soup CLI

핵심 발상은 YAML 파일 하나가 작업 전체를 설명한다는 것이다. soup init으로 시작 설정을 생성하고 몇 개 필드를 고친 뒤 soup train을 실행한다. Soup은 설정을 읽고 GPU를 확인해 맞는 배치 크기와 양자화를 고른다. 훈련용 shell 스크립트 폴더를 관리해 본 사람에게는 그게 매력이다. 설정이 곧 문서다.

레이어 스트리밍은 가장 주목받는 기능이다. 얼려 둔 베이스 모델 전체를 VRAM에 올리는 대신, Soup은 이를 메모리 밖에 두고 디코더 레이어를 하나씩 GPU에 공급한다. 4GB RTX 3050 Laptop에서 프로젝트는 8B 모델이 피크 메모리 3.32GB로 돌아간다고 보고한다. 대단한 성과다. 다만 이는 선택 사항이고 여전히 BETA이며, 처리량 수치는 특정 구버전에서 나온 것이므로 속도는 약속이 아니라 하한선으로 봐야 한다.

Soup은 훈련에서 멈추지 않는다. 설정에서 평가를 도출하고 그에 비추어 체크포인트를 선별하므로, 퇴보한 실행은 조용히 저장되지 않고 표시된다. 자주 훈련하는 팀에는 이게 단순 속도보다 중요하다. 이전보다 나쁜 체크포인트를 알려 주는 파이프라인을 원하기 때문이다.

soup serve 명령은 훈련된 모델을 명령 하나로 API 서비스로 바꾼다. 표준 /v1/chat/completions, /v1/models, /health 엔드포인트를 노출하고 스트리밍 응답을 지원하며, 처리량을 높이려면 vLLM이나 SGLang 백엔드로 전환할 수 있다. LoRA 어댑터는 바로 서빙할 수 있고, 베이스 모델은 어댑터 설정에서 해석되므로 가중치를 손으로 먼저 병합할 필요가 없다.

모든 것이 이미 가진 하드웨어에서 돌도록 설계됐다. 클라우드가 필요 없다. 강제 계정도, 호스팅형 대시보드도 없고, 스스로 설정하지 않는 한 데이터가 컴퓨터를 떠나지도 않는다. 민감한 데이터를 다루는 팀에는 관리형 훈련 서비스 대신 이걸 고르는 결정적 이유가 되곤 한다.

가벼운 soup-cli 설치에도 soup data ...와 PyTorch 없이 동작하는 점검 명령이 들어 있다. GPU가 전혀 없는 컴퓨터에서도 데이터셋을 정리하고 살펴볼 수 있다는 뜻이다. 지금 준비하고 나중에 훈련하라.