Union.ai

Der Kern ist, dass ein Lauf nicht neu starten muss, wenn die Hardware darunter ausfällt. Union protokolliert jeden Task, seine Ein- und Ausgaben und ein Replay-Log. Verschwindet eine GPU mitten im Training oder stirbt ein Container an einem Speicherfehler, setzt der Lauf an der Fehlerstelle fort. Beim Wiederholungsversuch kann er andere Ressourcen anfordern, so wechselt derselbe Schritt von einer A100 auf eine H100, ohne dass eine Zeile Code geändert wird. Darin liegt der Unterschied zwischen erneut versuchen und wiederherstellen, und deshalb werden lange Jobs häufiger fertig.

Flyte 2 verzichtet auf eine eigene Workflow-Sprache. Tasks sind Python-Funktionen, und Tasks rufen Tasks auf. Schleifen, Bedingungen und try/except sind normales Python, die Verteilung läuft über asyncio.gather. Keine YAML-Datei beschreibt den Graphen, kein Kompilierschritt steht vor dem Start. Ein Team arbeitet sich an einem Nachmittag ein, das senkt die Kosten für neue Mitarbeitende. Dasselbe Programm läuft lokal, auf einer Devbox oder über den Cluster, die Debug-Schleife bleibt also kurz.

Jeder Datensatz, Checkpoint und Bericht wird zu einem benannten, versionierten Artefakt, und die Plattform hält fest, welcher Lauf es erzeugt hat und welche Komponenten es danach konsumieren. Komponenten werden über Artefakt-Events verbunden statt über einen Scheduler. Eine neue Checkpoint-Version löst ihre Evaluierung aus, ein freigegebenes Modell startet die Bewertung, ein frischer Satz Produktions-Traces startet den Datenaufbau. Jede Komponente kann ein anderes Team schreiben und pflegen, keines importiert den Code des anderen. Union veröffentlicht getestete Referenzimplementierungen auf GitHub.

Eine einzige Umgebungsdeklaration macht aus einem Task einen torchrun-Cluster, mit verkabelten Knoten und Workern. Ein Lauf verteilt sich über viele Knoten und trägt tausende Aktionen, was Trainings mit GRPO und LoRA brauchen. Integrierte Plugins decken Ray, Spark und Dask für Lasten außerhalb des Standard-Taskmodells ab. Wo die Plattform ihren Unterschied zeigt, ist der Umgang mit Ausfällen: Diese Cluster laufen standardmäßig auf Spot-Kapazität, und ein zurückgeholter Knoten kostet nur die laufende Arbeit.

Sie betreiben ein Modell auf eigenen GPUs mit einem OpenAI-kompatiblen Endpunkt, deklariert wie jeder andere Task. Die Skalierung reicht von null Repliken in ruhigen Zeiten bis zum eingestellten Maximum, und Gewichte fließen vom Objektspeicher direkt in den GPU-Speicher, was Kaltstarts kurz hält. Dasselbe Gateway kann Aufrufe an externe API-Anbieter regeln, sodass Modellkosten und Routing an einer Stelle sichtbar sind. Der Endpunkt wird direkt aus der Ausgabe des Trainings gespeist, der manuelle Kopiervorgang in eine separate Registry entfällt.

Batch-Jobs und langlebige Dienste teilen sich Programmiermodell, Verpackungsmodell und eine Schicht für das GPU-Scheduling. Das ist kein kleines Nebenprodukt. Ein Batch-Scorer und ein aktiver Endpunkt können dasselbe Checkpoint-Artefakt nutzen, und der GPU-Pool verteilt sich zwischen beiden. Skaliert ein Endpunkt herunter, geht seine Kapazität zurück in die Trainingswarteschlange statt leerzulaufen. Teams mit zwei getrennten Stapeln brauchen nur noch einen, und die Kostenkontrolle wird einfacher.

Union läuft in Ihrer VPC auf AWS, Azure oder GCP, bei Enterprise auch on-prem und in abgeschotteten Netzen. Die Control Plane erreicht den Cluster über einen ausgehenden Tunnel, und der Datenproxy für signierte URLs und Log-Abrufe liegt in Ihrem Netz. Enterprise ergänzt SSO und SAML, eigenes RBAC, kundeneigene Verschlüsselungsschlüssel, eigene Schlüssel, private Endpunkte und eine Control Plane für einen einzelnen Mandanten. Zur Abdeckung gehören SOC 2 Type II und ein HIPAA-BAA auf Anfrage.