Ascend.io

Ascendは取り込み、変換、オーケストレーションを3つの別ツールではなく1つのプラットフォームにまとめる。ソースを接続し、変換を書くか生成し、同じワークスペースでスケジュールを設定する。利点は壊れる統合ポイントが減ることだ。実行が失敗したときのデバッグ場所も1か所で済む。

DataAwareエンジンは上流データの変化を追跡し、再実行が必要な最小限のステップを割り出す。つまり1つのテーブルへの修正がパイプライン全体の再構築を強制しない。大規模なデータセットを扱うチームでは、無駄な計算を削減できる。ソースの更新から新しい結果までの時間も短くなる。

Ascendは、いわゆるエージェント型データエンジニアリングへ踏み込んだ。AIエージェントがパイプラインのライフサイクル全体を通じてエンジニアと並んで働く。エージェントはパイプラインのロジックを起草し、データが変われば調整を提案し、通常ならエンジニアの1週間を食う反復的な保守を引き受ける。同社が最近どこに賭けたかを示す部分だ。

依存関係を手で配線する代わりに、パイプラインを記述し、実行順序はプラットフォームに任せる。同社は業界初の宣言的データパイプライン技術を導入したと述べており、そのモデルは製品全体に表れている。保守する命令的なコードが減り、意図主導の設定が増える。

変換はデータチームがすでに使う言語で定義できる。集合ベースの作業はSQL、カスタムロジックはPythonだ。学習曲線は低く保たれる。エンジニアはデータを動かすためだけに真新しいDSLを採用しなくてよい。

パイプラインの実行、データ品質、リネージは、別の監視アドオンではなく同じプラットフォーム内にある。何か壊れたら、1つのビューでステップをたどって原因を追える。いつもの調査が短くなる。ログとダッシュボードを行き来する必要はもうない。

AscendはAPIと開発者向けドキュメントを公開しており、チームはパイプライン管理を自動化したり、プラットフォームを既存のツールに組み込んだりできる。パイプラインをコードとして定義したいなら重要な点だ。より大きなオーケストレータから処理を起動する場合にも役立つ。