Milk Infrastructure
Milk Infrastructure · Programación
Milk Infrastructure es una herramienta de código abierto que guarda el tráfico de tu API de OpenAI mediante Milk Parlor y luego usa Milk Man para convertirlo en pruebas y entrenamientos.
Acerca de Milk Infrastructure
What Is Milk Infrastructure
Milk Infrastructure es infraestructura de código abierto para quien mueve llamadas a modelos y quiere quedarse con los datos que salen de ellas. Viene en dos piezas. Milk Parlor es una pasarela pequeña escrita en Rust que se coloca entre tu aplicación y el proveedor del modelo. Milk Man es un agente en Bash que ejecuta trabajos sobre el tráfico guardado: cuenta intercambios, redacta resúmenes, prueba modelos, entrena una versión más pequeña y compara resultados.
La puesta en marcha es aburrida a propósito. No hay SDK de Milk ni una librería nueva que aprender. Conservas el paquete oficial de OpenAI, cambias la URL base por el endpoint de Parlor, pones una clave de Milk y tus llamadas siguen funcionando. Parlor reenvía la petición, devuelve la respuesta en streaming y escribe los dos lados en el almacenamiento cuando el intercambio termina. El usuario no espera esa escritura.
Dos límites marcan cuándo encaja. Parlor solo habla POST /v1/responses y POST /v1/chat/completions, streaming incluido, así que no cubre toda la API de OpenAI. Y Milk no promete un modelo mejor. Guarda el experimento y su resultado, fallos incluidos. Si buscas una clasificación universal, esto no es lo tuyo.
Lo interesante llega cuando se acumula tráfico. En los hitos que configuras, un trabajo lee los intercambios nuevos y el resumen anterior, y guarda un punto de control con temas, tareas y tiempos de respuesta. A partir de ahí el agente escribe tareas de entrenamiento nuevas, entrena un modelo abierto y compara respuestas, velocidad y coste sobre las mismas tareas. Una persona firma antes de que cambie una ruta de la pasarela y se mueva el tráfico de clientes.
Getting Started
- Instala el paquete oficial de OpenAI para Python o Node, apunta
OPENAI_BASE_URLahttps://parlor.milkinfrastructure.com/v1y pon enOPENAI_API_KEYla clave de Milk que te haya dado el operador. - No toques el código de tu aplicación. Las llamadas a Responses y Chat Completions mantienen la misma forma, streaming incluido.
- Clona los repositorios milk-parlor y milk-man. Parlor necesita Rust. Milk Man necesita Bash, Python 3, Git y curl, además de zstd para procesar los registros capturados.
- Configura las variables de almacenamiento y de modelo. Sirven archivos locales o buckets compatibles con S3, y los modelos pueden correr en APIs gestionadas o en tus propias GPU de Baseten o Modal.
- Arranca el agente con
bin/man runy abre el panel opcional en el puerto 8765 para ver el chat, los latidos, los resúmenes guardados y los resultados de los experimentos.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de Milk Infrastructure.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Desarrolladores con llamadas compatibles con OpenAI en producción
- Equipos pequeños sin plataforma de datos
- Ingenieros de ML que comparan un modelo pequeño con uno alojado
Tareas
- Capturar pares de petición y respuesta para analizarlos después
- Construir datos de entrenamiento a partir del uso real
- Experimentos con modelos a lo largo de semanas
- Comparar coste y latencia entre modelos
Casos de uso
- Un chatbot con volumen diario estable y ninguna idea de qué pregunta la gente
- Un equipo que quiere ajustar un modelo a su dominio y no tiene conjunto etiquetado
- Un operador que reparte tráfico de clientes entre proveedores
Funciones clave
Pasarela compatible con OpenAI y captura en segundo plano
Milk Parlor autentica, reenvía y sirve en streaming las llamadas tal como las espera tu aplicación. Cuando el intercambio acaba, escribe la petición y la respuesta devuelta en almacenamiento local o compatible con S3. La escritura ocurre después de entregar la respuesta, así que la captura no añade espera al usuario. Piensa en la pasarela como registros de llamadas que además reenvían.
Migración de dos líneas desde el SDK oficial
No hay cliente propietario que estudiar. Mantienes pip install openai o npm install openai y cambias dos variables de entorno: la URL base y la clave. El código que llama a Responses o a Chat Completions sigue igual, streaming incluido. Es la parte del producto con menos fricción.
Resúmenes por hitos sin llamadas al modelo
Un latido cuenta los intercambios guardados. Cuando la cuenta cruza el umbral que fijas en MILK_SUMMARY_THRESHOLDS, un trabajo lee los datos nuevos y el resumen previo, y guarda un punto de control con temas, tareas y tiempos de respuesta. Contar no gasta tokens. El panel se rellena cuando aparece el archivo.
Agente en Bash que corre en local
Milk Man funciona desde Bash sin Docker, sin GPU local, sin base de datos y sin planificador aparte. Un latido ligero se queda con la tarea activa, espera sin llamar al modelo y vuelve cuando hay trabajo nuevo o toca revisar. Cerrar el panel no detiene el trabajo, y perder la conexión no significa que la tarea haya muerto.
Entrenamiento y comparación sobre tus propias tareas
El agente entrena un modelo abierto, ajusta cómo se ejecuta y compara respuestas, velocidad y coste contra una referencia en el mismo conjunto de tareas. Qwen3.5-0.8B es la primera base de entrenamiento que aparece en la documentación. La ganancia de velocidad y la mejora de respuestas se miden por separado, porque son afirmaciones distintas.
Aprobación humana antes de mover tráfico
Milk Man puede preparar una regla de pasarela para un modelo recién elegido, pero la regla sigue sin firma hasta que un operador la revisa. Nada redirige el tráfico de clientes por criterio del agente. Esa única puerta separa un experimento de un incidente.
Ventajas y desventajas
Ventajas
- Sin SDK nuevo y con un cambio de dos valores, la adopción cuesta una tarde y no un proyecto de migración.
- La captura sucede tras devolver la respuesta, así que la latencia que ve el usuario no se mueve.
- Todo es Apache 2.0 y corre en tu almacenamiento y tus GPU, de modo que el tráfico no sale de tu nube.
- Los resúmenes y los registros de experimentos son de solo añadir, lo que deja las ejecuciones antiguas auditables en vez de sobrescritas.
- El diseño de latido mantiene vivos los trabajos largos aunque cierres la pestaña o se caiga la sesión SSH.
Desventajas
- Solo cubre Responses y Chat Completions, así que una app que use embeddings, archivos o assistants necesita otra vía para esos datos.
- La infraestructura la levantas tú: Rust para la pasarela y Python, Git, curl y zstd para el agente.
- No hay plan gestionado ni lista de precios publicada, y eso traslada el trabajo operativo a tu equipo.
- El entrenamiento necesita GPU en Baseten o Modal, y esa factura llega aparte del código abierto.
Preguntas frecuentes
Se coloca entre tu aplicación y el proveedor del modelo, guarda los pares de petición y respuesta elegibles y luego ejecuta trabajos sobre ese tráfico. Obtienes resúmenes de lo que pregunta la gente, casos de prueba, particiones de entrenamiento y comparaciones entre modelos.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con Milk Infrastructure.
Alternativas a Milk Infrastructure
Udon
Udon · Programación · ProductividadUdon convierte un Mac con Apple Silicon en un servidor doméstico que se gestiona desde el navegador, con contenedores, archivos compartidos y un administrador de sistemas con IA opcional.
offstage
offstage cloud · Programación · Productividadoffstage da a los agentes de IA y a los trabajos de CI un Mac de verdad: una cuenta de macOS 27 sobre Apple silicon, manejada por API y cobrada por segundo.
BotBus
Chengdu Tuyang Tusen Technology Co., Ltd. · Programación · ProductividadBotBus te deja controlar desde el móvil y el reloj los agentes de programación con IA que corren en tu ordenador: apruebas comandos, lanzas tareas y lees resultados sin volver al escritorio.