LakeSail

Sail은 Apache Spark와 같은 Spark Connect 프로토콜을 쓴다. 원격 주소만 바꾸면 노트북과 작업, 오케스트레이션 DAG가 계속 돈다. 이전 비용이 설정 한 줄이지 분기 하나치 엔지니어링이 아닌 이유가 여기에 있다.

엔진은 Rust로 작성했고 가비지 컬렉터 없이 Arrow 버퍼 위에서 처리한다. 시작은 분이 아니라 초 단위로 끝나고, heap을 감으로 맞출 일도 없다. executor 메모리 설정에 몇 년을 씨름한 팀이라면 그것만으로도 일상이 달라진다.

Sail은 Delta Lake와 Iceberg를 엔진에서 바로 읽고 쓴다. 커넥터 계층도, 변환 단계도, 데이터를 한 업체에 묶는 전용 형식도 없다. 레이크하우스는 열린 상태로 남고 다음 날에도 다른 도구가 같은 테이블을 읽는다.

Sail은 파이썬 인터프리터를 엔진 프로세스에 넣는다. PySpark UDF는 행을 worker로 직렬화하지 않고 데이터를 제자리에서 읽는다. 벡터 처리와 모델 스코어링, 텍스트 정리가 빨라지고 함수 시그니처는 손대지 않아도 된다. 새벽 두 시에 작업이 깨졌을 때 의심할 부품이 줄어드는 것도 장점이다.

클러스터는 작업마다 만들고 끝나면 줄어든다. 일하는 동안의 연산에 돈을 쓰고, 내일 스케줄을 기다리는 유휴 자원에는 쓰지 않는다. 비용 대시보드는 AWS 청구서와 플랫폼 이용료를 나눠 보여준다.

관리형 플랫폼은 자사 VPC에 배포된다. 데이터 파일과 쿼리 결과, Glue 카탈로그는 자기가 소유한 버킷에 남고, LakeSail은 권한을 좁힌 IAM 역할로 접근하며 스택을 지우면 회수된다. 규제가 강한 팀에서는 파일럿과 발주 사이의 벽이 여기서 사라지는 경우가 많다.

Spark to Sail 스캐너는 브라우저에서 SQL과 DataFrame 코드를 검사하고 체험 전에 막는 항목을 보여준다. 작업에는 의존 관계와 cron 스케줄, 자동 재시도가 붙어 별도 스케줄러가 필요 없고, Airflow나 Dagster로 계속 돌릴 수도 있다. 둘 다 호기심에서 운영까지의 거리를 줄인다.