Union.ai

核心概念是：底下硬體掛掉時，執行不必重來。Union 會記錄每項任務、它的輸入輸出，以及一份重播日誌。GPU 在訓練中途消失，或容器因記憶體不足被砍，執行就從出錯那點繼續。重試時它還能改要不同的資源，同一個步驟因此能從 A100 換到 H100，一行程式都不用改。重試和復原的差別就在這裡，也是長時間工作比較常跑到完的原因。

Flyte 2 拿掉了工作流程語言。任務就是 Python 函式，任務呼叫任務。迴圈、條件判斷、try/except 都是原生 Python，分散執行靠 asyncio.gather。沒有 YAML 檔描述流程圖，執行前也沒有編譯步驟。團隊一個下午就能上手，新人訓練成本跟著下降。同一支程式可以在本機、devbox 或叢集上跑，除錯循環保持很短。

每一份資料集、檢查點與報告都會變成有名稱、有版本的成品，平台同時記下是哪次執行產生它、後面又有哪些元件取用。元件之間用成品事件串接，不必另外養一套排程器。新版本檢查點會觸發評估，通過的模型會觸發評分，新一批生產環境軌跡則觸發資料集建置。每個元件可以由不同團隊各自撰寫維護，彼此不必匯入對方的程式碼。Union 在 GitHub 上放了通過 CI 測試的參考實作。

只要宣告一次環境，任務就變成 torchrun 叢集，節點與工作程序都替你接好。單次執行可以橫跨多個節點、承載數千個動作，這正是 GRPO 與 LoRA 訓練需要的規模。內建外掛涵蓋 Ray、Spark 與 Dask，處理不符合標準任務模型的負載。平台的價值在故障處理上最明顯：這些叢集預設跑在 spot 容量，節點被回收只損失當下進行中的工作。

你可以用與 OpenAI 相容的端點，從自家 GPU 提供模型服務，宣告方式跟其他任務一樣。流量少時副本可縮到零，需要時再拉回設定上限，權重從物件儲存直接串流進 GPU 記憶體，冷啟動因此不會拖太久。同一道閘道也能管理對外部 API 供應商的呼叫，模型花費與路由集中在一處看得清楚。端點直接吃訓練執行的輸出，不必再手動複製到另一個模型註冊表。

批次工作與長時間運行的服務共用同一套程式模型、打包模型與 GPU 排程層。這不是小便利。意思是批次評分與線上端點可以指向同一份檢查點成品，GPU 池在兩者之間流動。服務端點縮減副本時，資源回到訓練佇列，而不是晾在那裡。原本要養兩套堆疊的團隊剩下一套，成本追蹤也簡單得多。

Union 跑在你的 VPC 裡，支援 AWS、Azure 與 GCP，Enterprise 另有地端與實體隔離選項。控制層透過對外通道連到叢集，負責簽署網址、抓取日誌的資料代理就住在你的網路內。Enterprise 再加上 SSO 與 SAML、自訂 RBAC、客戶自持加密金鑰、自帶金鑰、私有端點與單租戶控制層。合規涵蓋 SOC 2 Type II，並可依需求簽署 HIPAA BAA。