DoubleCloud

중심은 완전 관리형 ClickHouse 서비스였다. 클러스터 구축과 설정, 고가용성 구성, 백업 실행, SSL 인증서 갱신을 대신하면서 표준 SQL 인터페이스는 그대로 열어 줬다. 회사에 따르면 ClickHouse는 분석 쿼리에서 대표적인 관계형 데이터베이스보다 최대 100배 빠르고, 팀이 이 엔진을 찾는 이유도 여기에 있다.

Data Transfer는 서버리스 ELT 도구로 ClickHouse에 데이터를 넣고 다시 꺼내는 일을 맡았다. 회사는 기본 S3 커넥터로 Airbyte보다 9배 빠른 속도를 내세웠고 초당 20GB까지 확장해도 데이터가 유실되지 않는다고 밝혔다. 커넥터는 ClickHouse, MySQL, PostgreSQL, MongoDB, Snowflake, Elasticsearch, Oracle, BigQuery와 여러 광고 플랫폼을 지원했고, 변경 데이터 캡처는 트랜잭션 데이터베이스를 계속 동기화했다.

매니지드 Kafka와 매니지드 Airflow가 구성을 완성했다. 일 단위 배치 대신 이벤트를 처리하는 팀은 Kafka로 처리량 높은 수집을 맡기고, Airflow가 주변 작업을 예약하고 감시했다. 세 서비스가 한 콘솔에 있으면 청구서도 권한도 상태 확인도 한곳으로 모인다.

DoubleCloud는 계정이 있으면 추가 비용 없이 대시보드 도구를 제공했다. 여러 소스를 한 차트에 모으는 데이터 통합 역할까지 했고, ClickHouse, PostgreSQL, MySQL, MS SQL Server, Prometheus, BigQuery, Snowflake와 파일에 연결됐다. 지도와 지리 레이어, 소스를 넘나드는 차트, 행 단위 필터도 지원했다. BI 도구를 따로 결제하던 팀에는 패키지에서 가장 이득인 부분이었다.

ClickHouse 하이브리드 스토리지는 차가운 데이터를 S3 호환 오브젝트 스토리지로 보내고 뜨거운 데이터는 로컬에 남겼다. 회사는 저장 비용을 최대 5분의 1로 줄일 수 있다고 설명했다. 가용 영역 간 트래픽과 인바운드, 아웃바운드, VPC 피어링은 무료였고 ZooKeeper와 ClickHouse Keeper에도 비용이 붙지 않았다. 과금은 사용량 기준이고 해지 수수료도 없다.

모든 리소스를 콘솔 밖에서 관리할 수 있었다. 공개 API와 Terraform 프로바이더가 있어 클러스터와 파이프라인, 전송 설정을 다른 인프라와 함께 버전 관리에 둘 수 있었다. 엔지니어에게 콘솔 권한을 주지 않는 회사에도 현실적인 선택지가 됐다.