LakeSail
LakeSail · 其他
LakeSail 是建構在 Sail 之上的 Rust 原生資料與 AI 平台。Sail 可直接替換 Apache Spark，執行你既有的 SQL 與 DataFrame 程式碼，不需要 JVM，也不用改寫。
關於 LakeSail
About
LakeSail 是什麼
LakeSail 是 Sail 背後的公司與平台，而 Sail 是一套以 Rust 撰寫的開源查詢引擎。它保留 Apache Spark 的 API，只把底層執行引擎換掉。你把 Spark Connect 程式的連線指向 Sail 端點，同樣的工作就跑在更小的機器上。
這個主張範圍很窄，所以驗證起來很快。資料團隊通常不想要新語言，也不想要另一種資料表格式。他們要的是昨晚的流程在早會前跑完，帳單不要再往上走。Sail 正好切在這件事上，原生支援 Delta Lake 與 Iceberg，你的 Lakehouse 資料表原地不動。
限制也一樣重要。Sail 比 Spark 年輕，遇到少見的寫法仍可能撞上尚未支援的呼叫。LakeSail 的免費掃描器會先列出這些地方，讓你決定要不要投入。代管平台另外跑在你自己的 AWS 帳號裡，所以第一次查詢之前，管理員得先啟動 CloudFormation 範本。
開始使用
- 把 SQL 與 PySpark 程式碼丟進免費的 Spark 轉 Sail 掃描器。它會逐項回報支援狀況，並標出阻擋項目。
- 想先本機試，用 pip 安裝 Python 套件，在自己的電腦上啟動 Sail 伺服器。想走代管服務，改用電子郵件驗證碼註冊。
- 在帳號內啟動 CloudFormation 範本以連接 AWS，接著用你自己的 VPC 網段建立叢集。
- 把 Spark session 指向 Sail 端點，跑一個真實工作，再拿實際耗時與成本跟目前支出比一比。
產品資訊
快速了解 LakeSail 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 手上有正式環境 Spark 工作的資料工程師：SQL 與 DataFrame 程式碼原封不動，切換成本只是一條連線字串，不是重寫。
- 運算預算固定的分析主管：同一份工作改用更小的機器跑完，這就是搬遷的全部理由。
- 準備訓練資料的 AI 工程師：Python 在引擎內執行，向量嵌入的工作不必再繞進 JVM，也就不會被 PySpark UDF 拖慢。
任務
- 把批次流程搬離 JVM 版 Spark：掃描器把模糊的遷移恐懼變成一張可估價的呼叫清單。
- 大規模產生向量嵌入：mapInArrow 直接把 Arrow 批次交給 Python，向量仍是資料表裡的一欄，用 SQL 就能排序。
- 砍掉閒置叢集的開銷：工作結束就縮到零，夜裡沒人用的運算容量不再整晚開著。
情境
- 夜間 ETL 在現有叢集上老是趕不上時限。
- 財務要求先看到證據才願意批准平台更換，14 天代管試用正好對上這個流程。
- 處理 PDF、圖片、音訊或機器人紀錄的多模態前置作業，主要靠 Python 生態的函式庫撐住。
主要功能
直接相容 Spark Connect
Sail 使用與 Apache Spark 相同的 Spark Connect 協定。改掉遠端連線位址，你的 notebook、工作與調度 DAG 都照常運作。遷移之所以只要一行設定、而不是一季的工程人力，靠的就是這層相容。
沒有 JVM 的 Rust 原生引擎
引擎以 Rust 撰寫，直接在 Arrow 緩衝區上執行，沒有垃圾回收。啟動以秒計，不是以分計，也沒有 heap 參數要憑感覺調。對那些年年在 executor 記憶體設定裡打轉的人來說，光這一點就換了一種日子。
原生支援 Delta Lake 與 Iceberg
Sail 直接從引擎讀寫 Delta Lake 與 Iceberg。沒有連接器層、沒有轉檔步驟，也沒有專屬格式把資料綁在單一廠商身上。你的 Lakehouse 保持開放，其他工具明天照樣能讀同一批資料表。
Python 直接在引擎內執行
Sail 把 Python 解譯器嵌進引擎行程，PySpark UDF 就地讀取資料，不必把資料列序列化送到 worker。向量運算、模型評分與文字清理都變快，函式簽名一行都不用改。凌晨兩點工作掛掉時，要排查的環節也少了一些。
自動擴縮與逐工作配置
叢集依工作需求建立，結束後縮回。你付的是實際在跑的運算，不是等明天排程的閒置容量。成本儀表板會分開顯示 AWS 帳單與平台費用。
跑在自己的 AWS 帳號裡
代管平台部署在你的 VPC。資料檔、查詢結果與 Glue 型錄都留在你擁有的 bucket，LakeSail 透過一組權限受限的 IAM 角色存取，刪掉堆疊就能收回。對受監管的團隊來說，這往往是試辦與採購單之間的那道門。
內建遷移掃描與工作調度
Spark 轉 Sail 掃描器在瀏覽器裡檢查 SQL 與 DataFrame 程式碼，試用開始前就標出阻擋項目。工作本身也帶相依關係、cron 排程與自動重試，不必另外架調度器，Airflow 或 Dagster 也仍可接手。兩者合起來，從好奇到流程真的上線，中間少了好幾步。
優缺點
優點
- 標準 SQL 與 DataFrame 工作零改寫，換引擎最貴的那一塊直接消失。
- 按 vCPU 與 GiB 計價，雲端帳單上不會多出一層專屬計費單位。
- Python UDF 在行程內執行，向量嵌入與評分流程省掉序列化開銷。
- 資料留在自己的 AWS 帳號；想自架的話，開源引擎是 Apache 2.0 授權。
缺點
- 與 Spark 的相容並非全面。邊緣案例的 API 仍有缺口，掃描結果值得逐項細看。
- 代管方案需要 AWS 管理員權限才能啟動 CloudFormation，資安審查嚴格的團隊會被卡上一段。
- 代管方案的支援為 24 小時 SLA，正式環境出事時，第一線仍可能是你自己的值班工程師。
常見問題
引擎本體免費，採 Apache 2.0 開源授權，自架的支出只有雲端費用。代管平台提供 14 天試用，之後在 AWS 運算費之外，每 vCPU 小時收 0.01 美元、每 GiB 記憶體收 0.002 美元。
相關內容
探索與 LakeSail 相關的工具、技能與文章。
LakeSail 替代方案
Odyssey 3
Odyssey · 其他Odyssey-3 是 Odyssey 的基礎世界模型，能即時模擬物理，把一段文字提示變成可互動的環境，並套用到機器人、汽車與遊戲上。
JarvisCore
Prescott Data · 程式設計 · 生產力 · 其他JarvisCore 是開源的 Python 執行環境，讓 AI 代理在網格上以對等節點運作、從共用帳本認領任務，並透過零信任代理服務存取外部系統。
Clef
Cloudflare · 商業 · 其他Clef 是 Cloudflare 推出、可在 Workers AI 上執行的開源決策模型。它針對設定好的題目回傳校準後的機率而非生成文字，讓代理程式快速分類、分流並採取行動。