LakeSail
LakeSail · その他
LakeSail は Sail を中核とする Rust ネイティブのデータ・AI 基盤だ。Sail は Apache Spark の置き換えとして動き、既存の SQL と DataFrame のコードを JVM なし、書き換えなしで実行する。
LakeSail について
About
LakeSail とは
LakeSail は Sail を開発する企業であり、その製品基盤でもある。Sail は Rust で書かれたオープンソースのクエリエンジンで、Apache Spark の API をそのまま残し、下の実行系だけを入れ替える。Spark Connect の接続先を Sail のエンドポイントに変えれば、同じジョブがより小さなマシンで回る。
主張の範囲は狭い。だから検証も速い。データチームが欲しがっているのは新しい言語でも新しいテーブル形式でもない。夜間のパイプラインが朝会の前に終わり、クラウドの請求が伸びなくなることだ。Sail はそこに狙いを絞り、Delta Lake と Iceberg をネイティブに扱う。レイクハウスのテーブルは今の場所に置いたままでいい。
制約も同じくらい大事だ。Sail は Spark より新しく、珍しい書き方では未対応の呼び出しに当たることがある。LakeSail の無料スキャナが該当箇所を先に示す。マネージド版は自社の AWS アカウント内で動くため、最初のクエリの前に管理者が CloudFormation テンプレートを起動する必要がある。
はじめかた
- 既存の SQL と PySpark のコードを無料の Spark to Sail スキャナに通す。呼び出しごとに判定し、阻害要因を一覧で返す。
- 手元で試すなら、pip で Python パッケージを入れ、自分のマシンで Sail サーバーを起動する。マネージドを使うなら、メールの確認コードで登録する。
- アカウント内で CloudFormation テンプレートを起動して AWS をつなぎ、自前の VPC 範囲でクラスタを作る。
- Spark セッションの接続先を Sail のエンドポイントに向け、実際のジョブを流して所要時間と費用を現状と比べる。
AIツール情報
LakeSailの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 本番の Spark ジョブを抱えるデータエンジニア。SQL と DataFrame のコードはそのままで、切り替えは接続文字列の変更で済む。
- 計算予算が固定の分析責任者。同じ処理をより小さなインスタンスで終えられることが、移行の理由そのものになる。
- 学習データを整える AI エンジニア。Python がエンジン内で動くので、埋め込みベクトルの処理が JVM を経由せず、PySpark UDF の遅さに足を取られない。
タスク
- バッチ処理を JVM 版 Spark から移す。スキャナが漠然とした移行不安を、見積もり可能な呼び出しリストに変えてくれる。
- 埋め込みベクトルを大規模に作る。mapInArrow が Arrow のバッチをそのまま Python に渡し、ベクトルは SQL で並べ替えられる 1 列のまま残る。
- 遊休クラスタの費用を削る。ジョブが終わればゼロまで縮むので、夜通し動き続ける余剰キャパシティに払わなくて済む。
シーン
- 夜間 ETL が現行クラスタで締め切りに間に合わない。
- 財務が証拠を見るまで基盤の変更を承認しない案件。14 日間のマネージド試用がその流れに合う。
- PDF、画像、音声、ロボットのログを扱うマルチモーダルな前処理。Python のライブラリが主働になる。
主な機能
Spark Connect をそのまま使える
Sail は Apache Spark と同じ Spark Connect プロトコルで通信する。リモート URL を差し替えれば、ノートブックもジョブもオーケストレーションの DAG も動き続ける。移行が設定 1 行で済み、四半期分の工数にならないのは、この互換性があるからだ。
JVM を持たない Rust エンジン
エンジンは Rust で書かれ、ガベージコレクタなしで Arrow のバッファ上を直接処理する。起動は分ではなく秒で終わり、heap の設定を勘で詰める作業もない。executor のメモリ設定に何年も振り回されてきたチームには、それだけで日常が変わる。
Delta Lake と Iceberg をネイティブに扱う
Sail は Delta Lake と Iceberg をエンジンから直接読み書きする。コネクタ層も変換工程もなく、独自形式でデータを 1 社に縛ることもない。レイクハウスは開いたままで、翌日も別のツールが同じテーブルを読める。
Python がエンジン内で動く
Sail は Python インタプリタをエンジンのプロセスに埋め込む。PySpark UDF は行を worker にシリアライズせず、その場でデータを読む。ベクトル処理もモデルのスコアリングもテキスト整形も速くなり、関数のシグネチャは変えなくていい。深夜 2 時にジョブが落ちたとき、疑う部品が減るのも助かる。
自動スケーリングとジョブ単位の割り当て
クラスタはジョブごとに用意され、終われば縮む。動いている間の計算に払い、翌日のスケジュールを待つ間のアイドルには払わない。コスト画面では AWS の請求とプラットフォーム利用料が分かれて見える。
自社の AWS アカウント内で動く
マネージド版は自社の VPC に配備される。データファイルもクエリ結果も Glue のカタログも、自分が持つバケットに残る。LakeSail は権限を絞った IAM ロールでアクセスし、スタックを消せば取り消せる。規制の厳しいチームでは、試験導入と発注の間にある壁がここで消えることが多い。
移行スキャナとジョブ管理を標準装備
Spark to Sail スキャナはブラウザ上で SQL と DataFrame のコードを調べ、試用前に阻害要因を示す。ジョブには依存関係、cron スケジュール、自動リトライが付いてきて、別途スケジューラを立てる必要はない。Airflow や Dagster から動かすこともできる。どちらも、興味から運用までの距離を縮める。
メリットとデメリット
メリット
- 標準的な SQL と DataFrame の処理なら書き換えはゼロ。エンジン移行で一番高い部分が消える。
- vCPU と GiB による明快な課金で、クラウド請求の上に独自の課金単位が乗らない。
- Python UDF がプロセス内で動くため、埋め込みベクトルやスコアリングの処理でシリアライズの無駄が出ない。
- データは自社の AWS アカウントに残り、自分で運用したい場合のためにオープンソース版は Apache 2.0 ライセンスで提供される。
デメリット
- Spark との互換は完全ではない。周辺的な API はまだ穴があり、スキャナの結果は項目ごとに読むべきだ。
- マネージドの導入には CloudFormation 用の AWS 管理者権限が要る。セキュリティ審査が厳しいチームはここで止まりやすい。
- マネージドのサポートは 24 時間 SLA なので、本番障害の初動は自社のオンコールが担うことになる。
よくある質問
エンジン本体は Apache 2.0 のオープンソースで無料だ。自分で運用するなら費用はクラウド利用料だけになる。マネージド版は 14 日間の無料試用があり、その後は AWS の計算費用に加えて vCPU 時間 0.01 ドル、メモリ 1 GiB 時間 0.002 ドルがかかる。
関連コンテンツ
LakeSailに関連するツール、スキル、記事を探す。
LakeSailの代替ツール
JarvisCore
Prescott Data · コーディング · 生産性向上 · その他JarvisCore は、AI エージェントが対等なピアとしてメッシュを組み、共有台帳からタスクを引き受け、ゼロトラストのブローカー経由で外部サービスを呼ぶオープンソースの Python ランタイムである。
Clef
Cloudflare · ビジネス · その他Clef は Workers AI で動く Cloudflare のオープンソース意思決定モデルだ。生成テキストではなく、型付きの設問に確率を返す。エージェントは素早く分類し、振り分け、行動できる。
iFixAi
iFixAi · ビジネス · その他iFixAiはAIエージェント向けのオープンソース監査ツールだ。業務のシミュレーション上でエージェントを動かし、返答を一件ずつ採点して、根拠付きのA〜Fスコアカードを出す。