OpenFoundry
OpenFoundry (Arthur Chi, Tyler Lehman) · Programación
OpenFoundry es una plataforma de despliegue de IA de código abierto para quien quiere buscar, ajustar y ejecutar modelos abiertos en su propia nube en vez de alquilar la API de otro.
Acerca de OpenFoundry
About
Qué es OpenFoundry
OpenFoundry nace de un equipo de dos personas en San Francisco, fundado en 2024 por Arthur Chi y Tyler Lehman con 500.000 dólares de respaldo. La premisa era justa: los modelos abiertos se descargan gratis y se ejecutan fatal. Su web prometía encontrar el modelo adecuado, afinarlo con un par de clics y llevarlo a tu propia nube, que es justo la parte que una API alojada te esconde.
Lo que sí puedes descargar hoy es Model Manager, una herramienta de línea de comandos en Python publicada bajo licencia MIT. Toma un modelo de Hugging Face, uno del catálogo de SageMaker o pesos que ya tengas, y levanta un endpoint de SageMaker en tu cuenta de AWS. La puesta a punto son dos comandos y una clave, y el salto de Hugging Face a AWS deja de ser un proyecto de investigación.
Hay dos datos que conviene saber antes de dedicarle un fin de semana. El despliegue solo apunta a AWS y el último commit del repositorio es de mayo de 2024. El dominio openfoundry.ai redirige ahora a Overheard, otro producto de los mismos fundadores, así que toma el código como el entregable real y la plataforma alojada como algo dormido.
Cómo empezar
- Crea una cuenta de AWS y genera claves de acceso para SageMaker.
- Clona el repositorio model_manager, ejecuta
bash setup.sh, pega tus claves y confirma la región. Por defecto usa us-east-1. - Añade una
HUGGING_FACE_HUB_KEYal archivo.envque genera el script si vas a desplegar un modelo con acceso restringido, como Llama 2. - Lanza
python3 model_manager.pyy elige el origen de los pesos: Hugging Face, SageMaker o una ruta propia en S3 o en local. Un modelo pequeño tarda unos dos minutos en tener endpoint. - Consulta ese endpoint desde el script, desde un servidor FastAPI local o desde la API de SageMaker. Guarda el YAML que escribe en
/configs: el siguiente despliegue te llevará un solo comando.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de OpenFoundry.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Ingenieros de machine learning en equipos pequeños
- Desarrolladores independientes
- Equipos que no pueden sacar datos
Tareas
- Sacar un prototipo de una API de pago
- Montar un servicio interno de embeddings
- Elegir entre modelos abiertos
Casos de uso
- Una demo de búsqueda documental para un cliente que exige que los datos no salgan de su cuenta de AWS.
- Un modelo con acceso restringido como Llama 2 dentro de una VPC donde tu equipo de seguridad vea los registros.
- Despliegues desde CI
Funciones clave
Elegir modelo antes de comprometerte
La propuesta original empezaba por el descubrimiento: describes tu caso de uso, comparas modelos abiertos y afinas uno. Ese flujo vivía en el producto alojado, hoy cerrado a nuevos usuarios. En el código sobrevive la parte de despliegue, así que elige el modelo en Hugging Face y trae el nombre a la CLI.
Tres orígenes para los pesos
Puedes desplegar desde Hugging Face pegando el nombre completo del modelo, por ejemplo google-bert/bert-base-uncased, desde el catálogo de SageMaker por framework, o desde tus propios artefactos con una ruta de S3 o una carpeta local que la herramienta sube por ti. Los pesos propios son el caso interesante: ahí se atasca casi todo el mundo cuando lo hace a mano.
Configuraciones YAML y despliegues desde CI
Cada despliegue deja un YAML con el modelo y el endpoint. Devuélvelo con --deploy y obtienes la misma pila otra vez, lo que convierte una tarea manual en algo que tu CI ejecuta al fusionar. Esa es la pieza que hace que desplegar modelos abiertos resulte repetible y no un experimento suelto.
Un servidor de consultas que no tienes que escribir
uvicorn server:app levanta un servicio FastAPI con dos rutas: una para los datos del endpoint y otra para la inferencia. Acepta temperatura, top_k, top_p, máximo de tokens y penalización por repetición, así que pruebas el modelo sin montar antes una librería cliente. Solo modelos de texto.
Tu nube, tu factura, tus datos
Los endpoints corren en tu cuenta de AWS con tu cuota de SageMaker. Nada pasa por servidores de OpenFoundry, y eso resuelve temprano las preguntas de compras y de residencia de datos. También significa que el contador sigue corriendo aunque no envíes tráfico.
Licencia MIT y código legible
Toda la herramienta es MIT, con unos 350 votos en GitHub. Puedes hacer un fork, cambiar la ruta de despliegue según tus reglas de red o llevarte el envoltorio de FastAPI a tu propio servicio. Sin cuenta, sin cuota por usuario, sin llamada comercial.
Ventajas y desventajas
Ventajas
- Código con licencia MIT que puedes leer, bifurcar y seguir usando cuando el proveedor deje de publicar.
- Pasar de un nombre de modelo en Hugging Face a un endpoint vivo son minutos, y te ahorras el Terraform y el ECS que casi todo equipo acaba escribiendo a mano.
- Los pesos y la inferencia se quedan en tu cuenta de AWS, que es la diferencia entre una demo y algo que pasa una revisión de seguridad.
- Los YAML y el flag `--deploy` permiten guionizar despliegues repetidos, incluso desde GitHub Actions.
- Una capa de consultas FastAPI ya hecha te evita reescribir el mismo envoltorio en cada proyecto.
Desventajas
- Solo AWS. Azure y GCP están en la hoja de ruta, así que quien trabaje con varias nubes tendrá que bifurcar la herramienta o esperar.
- La consulta integrada atiende modelos de texto y nada más; imagen, audio y multimodal necesitan tu propio cliente.
- Los endpoints cobran por hora hasta que los borras y el autoescalado no se toca desde la herramienta. Un endpoint olvidado cuesta dinero de verdad.
- El repositorio está parado desde mayo de 2024 y la web comercial apunta a otro sitio, así que adoptas un proyecto sin mantenimiento, no una plataforma con soporte.
Preguntas frecuentes
Sí. Model Manager tiene licencia MIT y se descarga sin coste, y la plataforma alojada nunca tuvo precio público. El gasto real es tu factura de AWS, que paga la instancia de SageMaker detrás de cada endpoint que dejes encendido.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con OpenFoundry.
Alternativas a OpenFoundry
Base Code
Base44 (Wix) · Programación · ProductividadBase Code es un entorno de desarrollo en la nube compartido de Base44. El equipo describe cambios sobre un repositorio de GitHub en el chat, los ve en una vista previa y los envía como pull requests.
Google EmbeddingGemma 2
Google DeepMind · Escritura · Imagen · ProgramaciónGoogle EmbeddingGemma 2 es un modelo abierto de 740 millones de parámetros que convierte texto, código, imágenes, audio y fotogramas de vídeo en vectores de un mismo espacio de 768 dimensiones, y funciona en móviles y portátiles.
GitGlow
GitGlow · Programación · ProductividadGitGlow es un cliente Git de escritorio que reúne tu código y los cambios de tus agentes de IA en una sola revisión, para que sepas qué va a salir de tu máquina antes de publicarlo.