Dagster

Dagster는 파이프라인이 실행하는 작업이 아니라 생산하는 데이터로 정의되어야 한다는 발상 위에 세워진 현대적 데이터 오케스트레이션 플랫폼이다. 대부분의 오케스트레이션 도구는 작업을 순서대로 나열된 단계로 묘사한다. Dagster는 이 모델을 뒤집는다. 테이블, 파일, 모델 같은 애셋을 선언하면 플랫폼이 무엇을 언제 실행해야 하는지 계산한다. 이 전환이 중요하다. 숫자를 출처까지 거슬러 추적하고, 신선도를 자동으로 확인하고, 팀의 나머지에게 깔끔한 운영 상황을 넘겨줄 수 있는 것은 이 구조 덕분이다.

이 프로젝트는 오픈소스 세계에서 시작해 Dagster Labs(구 Elementl)가 유지하며, 그 위에 클라우드 제품 Dagster+가 얹힌다. 팀이 이걸 찾는 시점은 cron 작업과 셸 스크립트로는 부족해졌을 때, 또는 관리형 워크플로 스케줄러가 너무 경직되게 느껴질 때다. 흔한 계기는 여러 도구에 걸친 데이터 스택이다. dbt 모델, ELT 작업, 그리고 이제는 AI 파이프라인. 이들이 어떻게 연결되는지 볼 단일한 장소가 없다.

가장 중요한 한계는 범위다. Dagster는 대신 데이터를 변환해주지 않고, 웨어하우스나 변환 계층, BI 도구를 대체하지도 않는다. 이들 모두를 둘러싼 작업을 오케스트레이션한다. 또한 개발자 지향 제품이다. 파이프라인을 작성한다는 건 Python을 작성한다는 뜻이라, 엔지니어링 지원이 없는 팀은 노코드 스케줄러에 비해 학습 곡선을 가파르게 느낀다.

시작하기

1. pip로 오픈소스 코어를 로컬에 설치하고, 명령줄 도구 dg로 프로젝트 뼈대를 만든다.
2. 첫 애셋을 Python으로 정의하며, 무엇을 생산하고 어떤 상위 애셋에 의존하는지 기술한다.
3. 애셋 검사와 신선도 정책을 추가해, 지켜보지 않아도 플랫폼이 오래되거나 깨진 데이터를 표시하게 한다.
4. 웹 UI에서 파이프라인을 로컬로 테스트하며, 실행 이력과 리니지 뷰로 모든 연결을 확인한다.
5. 스케줄 실행, 알림, 공유 접근을 위해 Dagster+에 배포하거나, 자체 인프라에 셀프 호스팅한다.