Union.ai

A ideia central é que uma execução não precisa reiniciar quando o hardware embaixo dela falha. A Union registra cada tarefa, suas entradas e saídas, e um log de replay. Se uma GPU cai no meio do treinamento ou um contêiner morre por falta de memória, a execução continua do ponto da falha. Na nova tentativa ela também pode pedir outros recursos, então o mesmo passo sai de uma A100 para uma H100 sem mexer numa linha de código. Aí está a diferença entre repetir e recuperar, e é o motivo pelo qual jobs longos terminam mais vezes.

O Flyte 2 dispensa a linguagem de fluxos. Tarefas são funções Python, e tarefas chamam tarefas. Laços, condicionais e blocos try/except são Python comum, e a distribuição é asyncio.gather. Não existe arquivo YAML descrevendo o grafo nem etapa de compilação antes de rodar. Um time aprende isso numa tarde, o que barateia a entrada de gente nova. O mesmo programa roda na máquina local, num devbox ou no cluster, então o ciclo de depuração continua rápido.

Cada conjunto de dados, checkpoint e relatório vira um artefato com nome e versão, e a plataforma guarda qual execução o produziu e quais componentes o consomem depois. Você liga componentes por eventos de artefato em vez de usar um agendador. Uma versão nova de checkpoint dispara a avaliação, um modelo promovido dispara a pontuação, e um lote novo de traços de produção dispara a montagem do conjunto de dados. Cada componente pode ser escrito e mantido por um time diferente, e nenhum importa o código do outro. A Union publica implementações de referência no GitHub, com testes em CI.

Uma única declaração de ambiente transforma uma tarefa em cluster torchrun, com nós e processos já conectados. Uma execução pode se espalhar por muitos nós e hospedar milhares de ações, que é o que treinamentos com GRPO e LoRA pedem. Plugins integrados cobrem Ray, Spark e Dask para cargas fora do modelo padrão de tarefas. Onde a plataforma se destaca é no tratamento de falha: esses clusters usam capacidade spot por padrão, e um nó recuperado custa apenas o trabalho em andamento.

Você serve um modelo das suas GPUs com endpoint compatível com OpenAI, declarado como qualquer outra tarefa. A escala vai de zero réplicas em momentos de pouco tráfego até o máximo configurado, e os pesos vão do armazenamento de objetos direto para a memória da GPU, o que encurta a partida a frio. O mesmo gateway pode governar chamadas a provedores externos de API, e o time enxerga gasto e roteamento de modelo num só lugar. O endpoint se alimenta direto da saída do treinamento, o que elimina a cópia manual para um registro separado.

Jobs em lote e serviços de longa duração compartilham o modelo de programação, o de empacotamento e a camada de agendamento de GPU. Não é detalhe pequeno. Significa que um avaliador em lote e um endpoint ao vivo apontam para o mesmo artefato de checkpoint, e que o pool de GPUs se divide entre os dois. Quando um endpoint reduz as réplicas, a capacidade volta para a fila de treinamento em vez de ficar parada. Times que mantinham duas pilhas ficam com uma, e o controle de custo fica mais simples.

A Union roda na sua VPC na AWS, no Azure ou no GCP, com opção local e rede isolada no Enterprise. O plano de controle alcança o cluster por um túnel de saída, e o proxy de dados que assina URLs e busca logs fica dentro da sua rede. O Enterprise soma SSO e SAML, RBAC personalizado, chaves de criptografia do cliente, chave própria, endpoints privados e plano de controle dedicado a um único cliente. A cobertura inclui SOC 2 Type II e BAA de HIPAA sob solicitação.