Milk Infrastructure

Milk Infrastructure 是給「已經在送模型呼叫、也想留住過程資料」的人用的自架基礎設施。它由兩個程式組成。Milk Parlor 是以 Rust 寫成的小型閘道，卡在你的應用程式與模型供應商之間。Milk Man 是 Bash 代理程式，負責在保存下來的流量上跑工作：計算交換次數、寫摘要、測試模型、訓練較小的模型，再比較結果。

安裝過程刻意做得很平淡。沒有 Milk SDK，也沒有新的客戶端函式庫要學。你保留官方 OpenAI 套件，把基底網址換成 Parlor 端點，填入 Milk 金鑰，原本的呼叫照樣運作。Parlor 轉送請求、把回應串流回來，並在交換結束後把兩邊內容寫進儲存空間。使用者不必等這次寫入。

兩個限制決定它適不適合你。Parlor 只支援 POST /v1/responses 與 POST /v1/chat/completions（含串流），並不涵蓋 OpenAI API 的全部範圍。Milk 也不保證模型會變好。它保留實驗與結果，失敗的也留。想要一份通用排行榜名次，這裡沒有。

真正有意思的是流量累積之後。在你設定的里程碑上，工作會讀取新的交換與上一份摘要，存下包含主題、任務與回應時間的檢查點。接著代理程式能寫出新的訓練任務、訓練開源模型，並在同一批任務上比較答案、速度與成本。任何閘道規則要改動、客戶流量要轉向之前，都得由人簽核。

Getting Started

1. 安裝 Python 或 Node 的官方 OpenAI 套件，把 OPENAI_BASE_URL 指向 https://parlor.milkinfrastructure.com/v1，並在 OPENAI_API_KEY 填入營運者核發的 Milk 金鑰。
2. 應用程式碼不用動。送往 Responses 與 Chat Completions 的呼叫維持原本形狀，串流也一樣。
3. 複製 milk-parlor 與 milk-man 兩個儲存庫。Parlor 需要 Rust。Milk Man 需要 Bash、Python 3、Git 與 curl，處理擷取紀錄時還需要 zstd。
4. 設定儲存與模型的環境變數。本機檔案或相容於 S3 的 bucket 都能用，模型可走託管 API，也可跑在自己的 Baseten 或 Modal GPU 上。
5. 用 bin/man run 啟動代理程式，再開 8765 埠的選用儀表板，觀察對話、心跳、已存摘要與實驗結果。