LakeSail

O Sail fala o mesmo protocolo Spark Connect do Apache Spark. Você troca a URL remota e seus notebooks, jobs e DAGs de orquestração continuam funcionando. Essa compatibilidade explica por que uma migração custa uma linha de configuração e não um trimestre de engenharia.

O motor é escrito em Rust e executa sobre buffers Arrow sem coletor de lixo. Sobe em segundos, não em minutos, e não há memória de heap para ajustar no chute. Para quem passou anos brigando com configuração de memória do executor, só isso já muda o trabalho.

O Sail lê e grava Delta Lake e Iceberg direto no motor. Sem camada de conectores, sem etapa de conversão e sem formato proprietário prendendo seus dados a um fornecedor. Seu lakehouse segue aberto e outras ferramentas vão poder ler as mesmas tabelas amanhã.

O Sail embute um interpretador Python no processo do motor, então os UDFs de PySpark leem os dados no lugar em vez de serializar linhas para um worker. Trabalho com vetores, pontuação de modelos e limpeza de texto ficam mais rápidos sem mexer na assinatura das suas funções. Também sobram menos peças quando um job falha às duas da manhã.

Os clusters são provisionados por job e desligados quando ele termina. Você paga computação enquanto ela trabalha, não enquanto espera a agenda de amanhã. O painel de custos separa a sua fatura da AWS da taxa da plataforma.

A plataforma gerenciada é implantada na sua VPC. Arquivos, resultados de consulta e catálogos do Glue ficam em buckets que você controla, e o LakeSail chega até eles com uma role IAM limitada que você revoga apagando a stack. Para times regulados, isso costuma separar um piloto de um pedido de compra.

O scanner de Spark para Sail revisa código SQL e DataFrame no navegador e mostra os bloqueios antes do teste começar. Os jobs também vêm com dependências, agendamentos cron e novas tentativas sem um agendador separado, e Airflow ou Dagster podem continuar no comando. As duas coisas encurtam o caminho entre a curiosidade e um pipeline rodando.