Milk Infrastructure

Milk Infrastructure est une infrastructure open source destinée à ceux qui envoient des appels de modèles en production et veulent garder les données qui en sortent. Elle se compose de deux programmes. Milk Parlor est une petite passerelle écrite en Rust, placée entre votre application et le fournisseur du modèle. Milk Man est un agent Bash qui exécute des tâches sur le trafic conservé : il compte les échanges, rédige des synthèses, teste des modèles, en entraîne un plus petit et compare les résultats.

L'installation est volontairement banale. Il n'y a pas de SDK Milk ni de bibliothèque à apprendre. Vous gardez le paquet officiel d'OpenAI, remplacez l'URL de base par le point d'entrée Parlor, mettez une clé Milk, et vos appels continuent de fonctionner. Parlor transmet la requête, renvoie la réponse en streaming et écrit les deux côtés dans le stockage une fois l'échange terminé. L'utilisateur n'attend pas cette écriture.

Deux limites définissent le bon usage. Parlor ne parle que POST /v1/responses et POST /v1/chat/completions, streaming compris, donc il ne couvre pas toute l'API OpenAI. Et Milk ne promet pas un meilleur modèle. Elle conserve l'expérience et son résultat, échecs inclus. Si vous cherchez un classement universel, ce n'est pas ici.

L'intérêt commence quand le trafic s'accumule. Aux paliers que vous fixez, une tâche lit les nouveaux échanges et la synthèse précédente, puis enregistre un point de contrôle avec les sujets, les tâches et les temps de réponse. L'agent peut ensuite rédiger de nouvelles tâches d'entraînement, entraîner un modèle ouvert et comparer réponses, vitesse et coût sur les mêmes tâches. Une personne signe avant qu'une route de la passerelle ne change et que le trafic client ne bascule.

Getting Started

1. Installez le paquet officiel OpenAI pour Python ou Node, pointez OPENAI_BASE_URL vers https://parlor.milkinfrastructure.com/v1 et placez dans OPENAI_API_KEY la clé Milk fournie par l'opérateur.
2. Ne touchez pas au code de l'application. Les appels à Responses et Chat Completions gardent la même forme, streaming compris.
3. Clonez les dépôts milk-parlor et milk-man. Parlor demande Rust. Milk Man demande Bash, Python 3, Git et curl, plus zstd pour traiter les enregistrements capturés.
4. Renseignez les variables de stockage et de modèle. Des fichiers locaux ou des buckets compatibles S3 conviennent, et les modèles peuvent tourner sur des API managées ou sur vos GPU Baseten ou Modal.
5. Lancez l'agent avec bin/man run, puis ouvrez le tableau de bord facultatif sur le port 8765 pour suivre le chat, les battements, les synthèses enregistrées et les résultats d'expérience.