Union.ai

핵심 발상은 아래 하드웨어가 죽어도 실행을 처음부터 다시 하지 않는 것이다. Union은 태스크마다 입력과 출력, 재생용 로그를 기록한다. 학습 도중 GPU가 사라지거나 컨테이너가 메모리 부족으로 죽어도 실행은 실패 지점에서 이어진다. 재시도할 때 다른 자원을 요구할 수도 있어서, 같은 단계가 코드 한 줄 바꾸지 않고 A100에서 H100으로 옮겨간다. 단순 재시도와 복구의 차이가 여기 있고, 긴 작업이 더 자주 끝까지 가는 이유도 여기다.

Flyte 2는 워크플로 언어를 없앴다. 태스크는 파이썬 함수이고 태스크가 태스크를 부른다. 루프와 조건문, try/except는 그냥 파이썬이고 분산 실행은 asyncio.gather다. 그래프를 적은 YAML 파일도, 실행 전 컴파일 단계도 없다. 팀이 반나절이면 익히니 새로 들어온 사람의 적응 비용이 줄어든다. 같은 프로그램이 로컬과 devbox, 클러스터에서 모두 돌아 디버깅 주기가 짧게 유지된다.

데이터셋과 체크포인트, 리포트가 모두 이름과 버전을 가진 산출물이 된다. 플랫폼은 어느 실행이 만들었고 어떤 컴포넌트가 이어서 쓰는지를 기록한다. 컴포넌트는 스케줄러 대신 산출물 이벤트로 연결한다. 새 체크포인트 버전이 평가를 깨우고, 승격된 모델이 채점을 깨우고, 운영 환경 트레이스가 새로 들어오면 데이터셋 구축이 시작된다. 컴포넌트는 팀마다 따로 작성하고 관리할 수 있으며 서로의 코드를 임포트할 필요가 없다. Union은 CI로 검증한 참조 구현을 GitHub에 공개한다.

환경을 한 번 선언하면 태스크가 torchrun 클러스터로 바뀌고 노드와 워커 연결까지 끝난다. 한 번의 실행이 여러 노드로 퍼지며 수천 건의 액션을 감당한다. GRPO와 LoRA 학습이 요구하는 규모가 이 정도다. 표준 태스크 모델에 담기지 않는 작업을 위해 Ray, Spark, Dask 플러그인이 들어 있다. 플랫폼의 값어치는 장애 처리에서 가장 잘 드러난다. 이런 클러스터는 기본으로 스팟 용량을 쓰고, 노드가 회수돼도 진행 중이던 작업만 잃는다.

다른 태스크와 같은 방식으로 선언한 OpenAI 호환 엔드포인트로 자사 GPU에서 모델을 돌린다. 복제본은 한산할 때 0까지 줄고 필요하면 설정한 상한까지 늘어난다. 가중치는 오브젝트 스토리지에서 GPU 메모리로 바로 흘러가 콜드 스타트가 짧다. 같은 게이트웨이로 외부 API 제공자 호출도 통제해서 모델 비용과 경로를 한곳에서 본다. 엔드포인트는 학습 실행의 출력을 그대로 받으므로 별도 레지스트리로 손수 복사하는 단계가 사라진다.

배치 작업과 오래 떠 있는 서비스가 같은 프로그래밍 모델, 같은 패키징, 같은 GPU 스케줄링 계층을 공유한다. 작은 편의가 아니다. 배치 채점기와 살아 있는 엔드포인트가 같은 체크포인트 산출물을 가리킬 수 있고 GPU 풀을 둘이 나눠 쓴다는 뜻이다. 엔드포인트가 줄면 그 용량은 놀지 않고 학습 대기열로 돌아간다. 두 스택을 따로 굴리던 팀은 하나로 합치고 비용 추적도 단순해진다.

Union은 AWS, Azure, GCP의 자사 VPC에서 돌고 Enterprise는 온프레미스와 망 분리 배포도 지원한다. 컨트롤 플레인은 나가는 터널로 클러스터에 닿고, URL 서명과 로그 수집을 맡는 데이터 프록시는 자사 네트워크 안에 있다. Enterprise는 SSO와 SAML, 맞춤 RBAC, 고객 관리 암호화 키, 자체 키, 프라이빗 엔드포인트, 단일 테넌트 컨트롤 플레인을 더한다. SOC 2 Type II를 준수하고 요청 시 HIPAA BAA도 맺는다.