Union.ai

L'idée centrale : une exécution n'a pas besoin de repartir de zéro quand le matériel qui la porte tombe. Union enregistre chaque tâche, ses entrées et sorties, et un journal de rejeu. Si un GPU disparaît en cours d'entraînement ou qu'un conteneur meurt à cause d'une erreur de mémoire, l'exécution reprend au point de défaillance. Lors du nouvel essai, elle peut aussi demander d'autres ressources, et la même étape passe ainsi d'une A100 à une H100 sans toucher une ligne de code. C'est toute la différence entre réessayer et récupérer, et c'est ce qui fait aboutir plus souvent les jobs longs.

Flyte 2 supprime le langage de workflows. Les tâches sont des fonctions Python, et les tâches s'appellent entre elles. Boucles, conditions et blocs try/except sont du Python ordinaire, et la distribution se fait avec asyncio.gather. Aucun fichier YAML ne décrit le graphe, aucune étape de compilation ne précède l'exécution. Une équipe prend l'outil en main en une après-midi, ce qui allège l'intégration des nouvelles recrues. Le même programme tourne en local, sur un devbox ou sur un cluster, donc la boucle de débogage reste rapide.

Chaque jeu de données, checkpoint et rapport devient un artefact nommé et versionné, et la plateforme conserve l'exécution qui l'a produit ainsi que les composants qui le consomment ensuite. Vous reliez les composants par des événements d'artefact au lieu d'un ordonnanceur. Une nouvelle version de checkpoint déclenche son évaluation, un modèle promu déclenche le calcul des scores, un nouveau lot de traces de production déclenche la construction du jeu de données. Chaque composant peut être écrit et maintenu par une équipe différente, et aucune n'importe le code de l'autre. Union publie des implémentations de référence sur GitHub, testées en CI.

Une seule déclaration d'environnement transforme une tâche en cluster torchrun, avec nœuds et processus déjà câblés. Une exécution peut s'étendre sur de nombreux nœuds et héberger des milliers d'actions, ce dont les entraînements GRPO et LoRA ont besoin. Des plugins intégrés couvrent Ray, Spark et Dask pour les charges hors du modèle de tâches standard. La plateforme se distingue surtout sur les pannes : ces clusters tournent par défaut sur de la capacité spot, et un nœud récupéré ne coûte que le travail en cours.

Vous servez un modèle depuis vos GPU avec un point de terminaison compatible OpenAI, déclaré comme n'importe quelle autre tâche. La mise à l'échelle part de zéro réplique quand le trafic est faible et monte jusqu'au maximum configuré, et les poids passent du stockage objet directement à la mémoire GPU, ce qui raccourcit le démarrage à froid. La même passerelle peut encadrer les appels à des fournisseurs d'API externes, et l'équipe voit au même endroit la dépense et le routage des modèles. Le point de terminaison est alimenté directement par la sortie de l'entraînement, ce qui supprime la copie manuelle vers un registre séparé.

Les jobs par lots et les services de longue durée partagent le modèle de programmation, le modèle d'empaquetage et la couche d'ordonnancement GPU. Ce n'est pas un détail. Un evaluateur par lots et un point de terminaison actif peuvent viser le même artefact de checkpoint, et le parc de GPU se partage entre les deux. Quand un service réduit ses répliques, sa capacité retourne à la file d'entraînement au lieu de rester inactive. Les équipes qui maintenaient deux piles n'en gardent qu'une, et le suivi des coûts se simplifie.

Union s'exécute dans votre VPC sur AWS, Azure ou GCP, avec une option sur site et réseau isolé sur Enterprise. Le plan de contrôle atteint le cluster par un tunnel sortant, et le proxy de données qui signe les URL et récupère les journaux réside dans votre réseau. Enterprise ajoute SSO et SAML, RBAC personnalisé, clés de chiffrement gérées par le client, clé propre, points de terminaison privés et plan de contrôle dédié à un seul client. La couverture comprend SOC 2 Type II et un accord BAA HIPAA sur demande.