Milk Infrastructure
Milk Infrastructure · コーディング
Milk Infrastructureは、Milk ParlorでOpenAI APIのトラフィックを保存し、Milk Manでその呼び出しをモデルテストと学習に変えるオープンソースのツール群だ。
Milk Infrastructure について
What Is Milk Infrastructure
Milk Infrastructureは、モデル呼び出しを本番で流しながら、その過程で生まれるデータを手元に残したい人向けの自己ホスト型基盤である。中身は2つのプログラムに分かれる。Milk ParlorはRustで書かれた小さなゲートウェイで、アプリとモデル提供者の間に立つ。Milk ManはBash製のエージェントで、保存されたトラフィック上で作業を回す。交換回数を数え、要約を書き、モデルを試し、より小さなモデルを学習させ、結果を比較する。
導入手順はわざと地味にできている。MilkのSDKはなく、新しいクライアントライブラリも覚えなくていい。公式のOpenAIパッケージをそのまま使い、ベースURLをParlorのエンドポイントに変え、Milkのキーを入れる。既存の呼び出しはそのまま動く。Parlorはリクエストを転送し、応答をストリーミングで返し、交換が終わった後に両側をストレージへ書き出す。この書き込みを利用者が待つことはない。
向き不向きを決める制約は2つある。Parlorが扱うのはPOST /v1/responsesとPOST /v1/chat/completionsだけで、ストリーミングには対応するが、OpenAI APIの全体を覆うわけではない。そしてMilkはモデルが良くなると約束しない。実験と結果を残すだけで、失敗も残す。万能な順位表を求めているなら、ここは違う。
面白くなるのはトラフィックが溜まってからだ。自分で決めたマイルストーンに達すると、ジョブが新しい交換と前回の要約を読み、話題、タスク、応答時間のチェックポイントを保存する。そこからエージェントは新しい学習タスクを書き、オープンモデルを学習させ、同じタスク集合で回答、速度、コストを比べる。ゲートウェイのルールを変えて顧客トラフィックを動かす前に、必ず人が署名する。
Getting Started
- PythonかNodeの公式OpenAIパッケージを入れ、
OPENAI_BASE_URLをhttps://parlor.milkinfrastructure.com/v1に向け、OPENAI_API_KEYに運用者から渡されたMilkキーを設定する。 - アプリのコードは触らない。ResponsesとChat Completionsへの呼び出しは形もストリーミングもそのままだ。
- milk-parlorとmilk-manのリポジトリをcloneする。ParlorにはRustが要る。Milk ManにはBash、Python 3、Git、curl、そして取得済みレコードの処理にzstdが要る。
- ストレージとモデルの環境変数を設定する。ローカルファイルでもS3互換のバケットでもよく、モデルはマネージドAPIでも自前のBasetenやModalのGPUでも動く。
bin/man runでエージェントを起動し、任意のダッシュボードを8765番ポートで開く。チャット、ハートビート、保存済み要約、実験結果を確認できる。
AIツール情報
Milk Infrastructureの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 本番でOpenAI互換の呼び出しを流す開発者。調べる価値のあるトラフィックが既にあり、2つの値の変更でクライアントコードはそのまま残る。
- データ基盤を持たない小さなチーム。オブジェクトストレージの階層と要約ジョブで収集が完結し、データベースもキューも専用スケジューラも要らない。
- 小型モデルとホスト型モデルを比べたいMLエンジニア。公開ベンチマークではなく、自分のタスクで学習と比較ができる。
タスク
- リクエストと応答の組を後で分析するために残す。Parlorが対象の交換をバックグラウンドで保存し、アカウントとタスクごとにまとめる。
- 実際の利用から学習データを作る。教師モデルが保存済みトラフィックにヒントを得た新タスクを書き、改善を測るタスクとは別に保つ。
- 数週間にわたるモデル実験を追う。各実行は測定値より先に結論を保存するので、失敗した試行も記録に残る。
- モデル間のコストと遅延を比べる。同じタスク集合を別のモデルと設定で走らせ、結果を1つの比較ファイルに集める。
シーン
- 毎日の利用量は安定しているのに、利用者が何を聞いているか分からないチャットボット。マイルストーン要約が話題と応答時間を浮かび上がらせ、ログを手で読む必要がなくなる。
- 自社領域に合わせてモデルを調整したいが、ラベル付きデータセットがないチーム。保存済みの交換が出発点になる。
- 顧客トラフィックを複数の提供者に振り分ける運用者。提案されたルーティング規則は、人が確認して署名するまで動かない。
主な機能
OpenAI互換ゲートウェイとバックグラウンド記録
Milk Parlorはアプリが期待する形で認証し、転送し、ストリーミングで返す。交換が終わると、リクエストと返された応答をローカルまたはS3互換ストレージへ書き出す。書き込みは応答を返した後に起きるので、記録が利用者の待ち時間を増やすことはない。
公式SDKから2行で移行
専用クライアントを覚える必要はない。pip install openaiかnpm install openaiを維持し、環境変数を2つ変えるだけだ。ベースURLとキーである。ResponsesやChat Completionsを呼ぶコードはストリーミング込みでそのまま動く。製品の中で最も摩擦が小さい部分だ。
モデルを呼ばずにマイルストーンで要約
ハートビートが保存済みの交換を数える。件数がMILK_SUMMARY_THRESHOLDSで決めたしきい値を超えると、ジョブが新データと前回の要約を読み、話題、タスク、応答時間のチェックポイントを保存する。数えるだけならトークンは消費しない。ファイルが置かれた時点でダッシュボードが埋まる。
ローカルで動くBashエージェント
Milk ManはBashから起動し、DockerもローカルGPUもデータベースも専用スケジューラも要らない。軽いハートビートが実行中のタスクを持ち、待機中はモデルを呼ばず、作業が変わったときや期限が来たときに再開する。ダッシュボードを閉じてもジョブは止まらず、接続が切れてもタスクが死んだとは限らない。
自分のタスクで学習と比較
エージェントはオープンモデルを学習させ、実行の仕方を調整し、同じタスク集合で基準モデルと回答、速度、コストを比べる。ドキュメントで最初に挙げられている学習ベースはQwen3.5-0.8Bだ。速くなったことと回答が良くなったことは別々に測る。主張として別物だからだ。
トラフィックを動かす前の人手承認
Milk Manは新しく選んだモデル向けのゲートウェイ規則を用意できるが、運用者が確認するまで規則は未署名のままになる。エージェントの判断だけで顧客トラフィックが迂回することはない。この1つの関門が、実験と事故を分ける。
メリットとデメリット
メリット
- 新しいSDKが不要で変更は2つの値だけ。導入は移行プロジェクトではなく半日で終わる。
- 記録は応答を返した後に走るので、利用者が体感する遅延は変わらない。
- すべてApache 2.0で、自分のストレージとGPU上で動く。トラフィックを自社クラウドの外へ出す必要がない。
- 要約も実験記録も追記のみで、過去の実行を上書きせずに監査できる。
- ハートビート方式なので、タブを閉じてもSSHが切れても長時間ジョブは生き残る。
デメリット
- 対応するのはResponsesとChat Completionsだけ。embeddingsやファイル、assistantsのエンドポイントを使うアプリは、そのデータを別経路で扱う必要がある。
- 基盤は自分で運用する。ゲートウェイにRust、エージェントにPython、Git、curl、zstdが要る。
- マネージド版も公開価格表もないため、運用の負担は自チームに残る。
- 学習にはBasetenかModalのGPUが必要で、その請求はオープンソースのコードとは別に来る。
よくある質問
アプリとモデル提供者の間に立ち、対象となるリクエストと応答の組を保存し、そのトラフィック上でジョブを回す。利用者が何を求めているかの要約、テストケース、学習用の分割、モデル間の比較が手に入る。
関連コンテンツ
Milk Infrastructureに関連するツール、スキル、記事を探す。
Milk Infrastructureの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。