Union.ai

核になる考えは、下のハードウェアが落ちても実行をやり直さないことだ。Unionは各タスク、その入力と出力、そしてリプレイ用のログを記録する。学習の途中でGPUが消えたり、コンテナがメモリ不足で落ちたりしても、実行は失敗した地点から続く。再試行のときに別のリソースを要求することもでき、同じステップがコードを1行も変えずにA100からH100へ移る。単なる再試行と復旧の違いがここにあり、長いジョブが完走しやすくなる理由でもある。

Flyte 2はワークフロー言語をなくした。タスクはPythonの関数で、タスクがタスクを呼ぶ。ループ、条件分岐、try/exceptはそのままPythonで、分散はasyncio.gatherだ。グラフを書いたYAMLファイルも、実行前のコンパイル手順もない。チームは半日で覚えられ、新しい人の立ち上がりが軽くなる。同じプログラムがローカルでも、devboxでもクラスタでも動くので、デバッグの回転は速いまま保てる。

データセット、チェックポイント、レポートはすべて名前とバージョンを持つ成果物になり、どの実行が作ったか、どのコンポーネントが後で使うかを基盤が記録する。コンポーネント同士はスケジューラではなく成果物のイベントでつなぐ。新しいチェックポイントが評価を起動し、昇格したモデルが採点を起動し、本番のトレースが新しく届けばデータセットの構築が走る。コンポーネントはチームごとに別々に書けて、互いのコードをimportしなくてよい。UnionはCIでテストしたリファレンス実装をGitHubで公開している。

環境を1つ宣言すれば、タスクがtorchrunのクラスタになり、ノードとワーカーの配線まで済む。1回の実行が多数のノードに広がり、数千アクションを抱えられる。GRPOやLoRAの学習が求める規模はこれだ。標準のタスクモデルに収まらない処理向けに、Ray、Spark、Daskのプラグインが入っている。基盤の価値が最も見えるのは障害の扱いで、これらのクラスタは既定でスポット容量を使い、ノードが回収されても失うのは進行中の作業だけだ。

他のタスクと同じ書き方で宣言したOpenAI互換のエンドポイントから、自前のGPUでモデルを動かせる。レプリカは静かなときゼロまで縮み、必要なら設定した上限まで戻る。重みはオブジェクトストレージからGPUメモリへ直接流れるため、コールドスタートが短い。同じゲートウェイで外部API提供元への呼び出しも統制でき、モデルの費用と経路を1か所で見られる。エンドポイントは学習実行の出力をそのまま受け取るので、別のレジストリへ手でコピーする作業が消える。

バッチ処理と長時間動くサービスが、同じプログラミングモデル、同じパッケージング、同じGPUスケジューリング層を共有する。小さな利点ではない。バッチ採点と稼働中のエンドポイントが同じチェックポイントの成果物を指せて、GPUの集まりを両者で融通できるということだ。エンドポイントが縮めば、その分の能力は遊ばずに学習の待ち行列へ戻る。二つの仕組みを抱えていたチームは一つで済み、費用の追跡も簡単になる。

UnionはAWS、Azure、GCPの自社VPCで動き、Enterpriseではオンプレミスと分離ネットワークにも対応する。コントロールプレーンは外向きのトンネルでクラスタに届き、URLへの署名やログ取得を担うデータプロキシは自社ネットワークの中に置かれる。EnterpriseではSSOとSAML、独自RBAC、顧客管理の暗号鍵、自前の鍵、プライベートエンドポイント、単一テナントのコントロールプレーンが加わる。SOC 2 Type IIに準拠し、求めに応じてHIPAAのBAAも結べる。