Milk Infrastructure
Milk Infrastructure · Coding
Milk Infrastructure ist Open-Source-Werkzeug, das Ihren OpenAI-Traffic über Milk Parlor speichert und mit Milk Man in Modelltests und Trainingsläufe verwandelt.
Über Milk Infrastructure
What Is Milk Infrastructure
Milk Infrastructure ist eine selbst gehostete Infrastruktur für alle, die Modellaufrufe in Produktion schicken und die Daten behalten wollen, die dabei entstehen. Sie besteht aus zwei Programmen. Milk Parlor ist ein kleines Gateway in Rust und sitzt zwischen Ihrer Anwendung und dem Modellanbieter. Milk Man ist ein Bash-Agent, der Jobs auf dem gespeicherten Traffic ausführt: Er zählt Austausche, schreibt Zusammenfassungen, testet Modelle, trainiert ein kleineres Modell und vergleicht Ergebnisse.
Die Einrichtung ist mit Absicht unspektakulär. Es gibt kein Milk-SDK und keine neue Client-Bibliothek. Sie behalten das offizielle OpenAI-Paket, ändern die Basis-URL auf den Parlor-Endpunkt, setzen einen Milk-Schlüssel ein, und Ihre Aufrufe laufen weiter. Parlor leitet die Anfrage weiter, streamt die Antwort zurück und schreibt beide Seiten in den Speicher, sobald der Austausch beendet ist. Auf dieses Schreiben wartet kein Nutzer.
Zwei Grenzen bestimmen, wann das passt. Parlor spricht nur POST /v1/responses und POST /v1/chat/completions, Streaming eingeschlossen, deckt also nicht die ganze OpenAI-API ab. Und Milk verspricht kein besseres Modell. Es hält das Experiment und sein Ergebnis fest, Fehlschläge inklusive. Wer ein universelles Ranking sucht, ist hier falsch.
Interessant wird es, wenn genug Traffic zusammenkommt. An Meilensteinen, die Sie festlegen, liest ein Job die neuen Austausche und die vorherige Zusammenfassung und speichert einen Checkpoint mit Themen, Aufgaben und Antwortzeiten. Danach schreibt der Agent neue Trainingsaufgaben, trainiert ein offenes Modell und vergleicht Antworten, Geschwindigkeit und Kosten auf denselben Aufgaben. Ein Mensch unterschreibt, bevor eine Gateway-Regel wechselt und Kundentraffic umzieht.
Getting Started
- Installieren Sie das offizielle OpenAI-Paket für Python oder Node, setzen Sie
OPENAI_BASE_URLaufhttps://parlor.milkinfrastructure.com/v1und tragen Sie inOPENAI_API_KEYden Milk-Schlüssel ein, den Sie vom Betreiber erhalten haben. - Lassen Sie den Anwendungscode unverändert. Aufrufe an Responses und Chat Completions behalten ihre Form, Streaming eingeschlossen.
- Klonen Sie die Repositories milk-parlor und milk-man. Parlor braucht Rust. Milk Man braucht Bash, Python 3, Git und curl, dazu zstd für die Verarbeitung der aufgezeichneten Datensätze.
- Setzen Sie die Umgebungsvariablen für Speicher und Modell. Lokale Dateien oder S3-kompatible Buckets funktionieren, und Modelle laufen über verwaltete APIs oder über Ihre eigenen GPUs bei Baseten oder Modal.
- Starten Sie den Agenten mit
bin/man runund öffnen Sie das optionale Dashboard auf Port 8765, um Chat, Heartbeat, gespeicherte Zusammenfassungen und Versuchsergebnisse zu verfolgen.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Milk Infrastructure.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- Entwickler mit OpenAI-kompatiblen Aufrufen in Produktion
- Kleine Teams ohne Datenplattform
- ML-Engineers, die ein kleines Modell gegen ein gehostetes stellen
Aufgaben
- Anfrage und Antwort als Paar sichern und später auswerten
- Trainingsdaten aus echter Nutzung bauen
- Modellexperimente über Wochen verfolgen
- Kosten und Latenz zwischen Modellen vergleichen
Szenarien
- Ein Chatbot mit stabilem Tagesvolumen und keiner Ahnung, was Nutzer eigentlich fragen
- Ein Team, das ein Modell auf die eigene Domäne zuschneiden will und keinen gelabelten Datensatz hat
- Ein Betreiber, der Kundentraffic zwischen Anbietern verteilt
Wichtigste Funktionen
OpenAI-kompatibles Gateway mit Aufzeichnung im Hintergrund
Milk Parlor authentifiziert, leitet weiter und streamt Aufrufe so, wie Ihre Anwendung sie erwartet. Nach dem Ende eines Austauschs schreibt es Anfrage und zurückgegebene Antwort in lokalen oder S3-kompatiblen Speicher. Das Schreiben passiert nach der Auslieferung der Antwort, die Aufzeichnung kostet den Nutzer also keine Wartezeit. Das Gateway liefert damit auch Anfrageprotokolle.
Umstieg in zwei Zeilen aus dem offiziellen SDK
Es gibt keinen eigenen Client zum Erlernen. Sie behalten pip install openai oder npm install openai und ändern zwei Umgebungsvariablen: Basis-URL und Schlüssel. Code, der Responses oder Chat Completions aufruft, läuft unverändert, Streaming eingeschlossen. Das ist der reibungsärmste Teil des Produkts.
Zusammenfassungen an Meilensteinen ohne Modellaufruf
Ein Heartbeat zählt gespeicherte Austausche. Überschreitet der Zähler die Schwelle aus MILK_SUMMARY_THRESHOLDS, liest ein Job die neuen Daten plus die vorherige Zusammenfassung und speichert einen Checkpoint mit Themen, Aufgaben und Antwortzeiten. Das Zählen kostet keine Tokens. Das Dashboard füllt sich, sobald die Datei vorliegt.
Bash-Agent, der lokal läuft
Milk Man startet aus Bash, ohne Docker, lokale GPU, Datenbank oder separaten Scheduler. Ein leichter Heartbeat hält die aktive Aufgabe, wartet ohne Modellaufruf und macht weiter, wenn neue Arbeit kommt oder ein Termin fällig ist. Ein geschlossenes Dashboard stoppt den Job nicht, und eine abgebrochene Verbindung bedeutet nicht, dass die Aufgabe tot ist.
Training und Vergleich auf Ihren eigenen Aufgaben
Der Agent trainiert ein offenes Modell, justiert dessen Lauf und vergleicht Antworten, Geschwindigkeit und Kosten gegen eine Referenz auf demselben Aufgabensatz. Qwen3.5-0.8B ist die erste Trainingsbasis, die in der Dokumentation genannt wird. Schneller und besser werden getrennt gemessen, weil das zwei verschiedene Aussagen sind.
Menschliche Freigabe, bevor Traffic umzieht
Milk Man kann eine Gateway-Regel für ein neu gewähltes Modell vorbereiten, doch die Regel bleibt unsigniert, bis ein Betreiber sie prüft. Nichts leitet Kundentraffic nach dem Urteil des Agenten um. Diese eine Sperre trennt ein Experiment von einem Vorfall.
Vor- und Nachteile
Vorteile
- Kein neues SDK, zwei geänderte Werte: Die Einführung kostet einen Nachmittag statt eines Migrationsprojekts.
- Die Aufzeichnung läuft nach der Antwort, die Latenz für den Nutzer bleibt also, wo sie war.
- Alles ist Apache 2.0 und läuft auf Ihrem Speicher und Ihren GPUs, der Traffic muss Ihre Cloud nicht verlassen.
- Zusammenfassungen und Versuchsprotokolle werden nur angehängt, alte Läufe bleiben damit prüfbar statt überschrieben.
- Der Heartbeat hält lange Jobs am Leben, auch wenn der Tab zu ist oder die SSH-Sitzung abreißt.
Nachteile
- Nur Responses und Chat Completions werden unterstützt, Apps mit Embeddings, Dateien oder Assistants brauchen für diese Daten einen anderen Weg.
- Die Infrastruktur betreiben Sie selbst: Rust für das Gateway, Python, Git, curl und zstd für den Agenten.
- Es gibt kein gehostetes Angebot und keine veröffentlichte Preisliste, die Betriebsarbeit bleibt also bei Ihrem Team.
- Trainingsläufe brauchen GPU-Kapazität bei Baseten oder Modal, und diese Rechnung kommt getrennt vom Open-Source-Code.
Häufige Fragen
Es sitzt zwischen Ihrer App und dem Modellanbieter, speichert geeignete Anfrage- und Antwortpaare und führt danach Jobs auf diesem Traffic aus. Sie bekommen Zusammenfassungen der gestellten Anfragen, Testfälle, Trainings-Splits und Vergleiche zwischen Modellen.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Milk Infrastructure.
Alternativen zu Milk Infrastructure
Base Code
Base44 (Wix) · Coding · ProduktivitätBase Code ist eine geteilte Cloud-Entwicklungsumgebung von Base44. Das Team beschreibt Änderungen an einem bestehenden GitHub-Repository im Chat, prüft sie in der Vorschau und reicht sie als Pull Request ein.
Google EmbeddingGemma 2
Google DeepMind · Schreiben · Bilder · CodingGoogle EmbeddingGemma 2 ist ein offenes Modell mit 740 Millionen Parametern, das Text, Code, Bilder, Audio und Videobilder in Vektoren eines gemeinsamen 768-dimensionalen Raums umwandelt und auf Handys und Notebooks läuft.
GitGlow
GitGlow · Coding · ProduktivitätGitGlow ist ein Git-Client für den Desktop, der Ihren Code und die Änderungen Ihrer KI-Agenten in einer Review bündelt, damit Sie vor dem Ausliefern sehen, was die Maschine verlässt.