OpenFoundry
OpenFoundry (Arthur Chi, Tyler Lehman) · Programmation
OpenFoundry est une plateforme de déploiement d'IA open source pour ceux qui veulent trouver, affiner et faire tourner des modèles ouverts dans leur propre cloud plutôt que louer l'API d'un autre.
À propos de OpenFoundry
About
Qu'est-ce qu'OpenFoundry
OpenFoundry vient d'une équipe de deux personnes à San Francisco, fondée en 2024 par Arthur Chi et Tyler Lehman avec 500 000 dollars de financement. Le constat de départ tient debout : les modèles ouverts se téléchargent gratuitement et se lancent mal. Déployer des modèles open source sur son propre matériel reste un pensum. Le site promettait de trouver le bon modèle, de l'affiner en quelques clics et de le pousser dans votre cloud, précisément le travail qu'une API hébergée vous cache.
Ce que vous pouvez réellement télécharger, c'est Model Manager, un outil en ligne de commande écrit en Python et publié sous licence MIT. Il prend un modèle sur Hugging Face, un modèle du catalogue SageMaker ou des poids que vous hébergez déjà, puis monte un endpoint SageMaker sur votre compte AWS. L'installation tient en deux commandes et une clé, et le trajet de Hugging Face vers AWS cesse d'être un projet de recherche.
Deux points à connaître avant d'y consacrer un week-end. Le déploiement ne vise qu'AWS, et le dernier commit du dépôt date de mai 2024. Le domaine openfoundry.ai renvoie désormais vers Overheard, un autre produit des mêmes fondateurs. Prenez donc le code comme la vraie livraison et la plateforme hébergée comme une parenthèse fermée.
Premiers pas
- Créez un compte AWS et générez des clés d'accès pour SageMaker.
- Clonez le dépôt model_manager, lancez
bash setup.sh, collez vos clés et confirmez la région. Par défaut, c'est us-east-1. - Ajoutez une
HUGGING_FACE_HUB_KEYdans le fichier.envcréé par le script si vous déployez un modèle à accès restreint, comme Llama 2. - Lancez
python3 model_manager.pyet choisissez l'origine des poids : Hugging Face, SageMaker, ou un chemin S3 ou local. Un petit modèle obtient son endpoint en deux minutes environ. - Interrogez cet endpoint depuis le script, un serveur FastAPI local ou l'API SageMaker. Gardez le fichier YAML écrit dans
/configs: le déploiement suivant tiendra en une commande.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de OpenFoundry.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Ingénieurs machine learning en petite équipe
- Développeurs indépendants
- Équipes qui ne peuvent pas sortir leurs données
Tâches
- Sortir un prototype d'une API payante
- Monter un service d'embeddings interne
- Choisir entre modèles ouverts
Cas d'usage
- Une démo de recherche documentaire chez un client qui exige que rien ne quitte son compte AWS.
- Un modèle à accès restreint comme Llama 2 dans un VPC où votre équipe sécurité voit les journaux.
- Des déploiements depuis la CI
Fonctionnalités clés
Choisir le modèle avant de s'engager
Le discours initial commençait par la découverte : décrivez votre usage, comparez des modèles ouverts, affinez-en un. Ce parcours vivait dans le produit hébergé, fermé aux nouveaux comptes aujourd'hui. Le code ne garde que la partie déploiement : choisissez votre modèle sur Hugging Face et apportez son nom à la CLI.
Trois sources de poids
Vous déployez depuis Hugging Face en collant le nom complet du modèle, par exemple google-bert/bert-base-uncased, depuis le catalogue SageMaker par framework, ou depuis vos propres artefacts via un chemin S3 ou un dossier local que l'outil téléverse pour vous. Les poids maison sont le cas intéressant : c'est là que la plupart des équipes bloquent en le faisant à la main.
Configurations YAML et déploiement par la CI
Chaque déploiement écrit un YAML décrivant le modèle et l'endpoint. Repassez ce fichier avec --deploy et vous retrouvez la même pile, ce qui transforme une corvée manuelle en étape que votre CI exécute à la fusion. C'est ce qui rend le déploiement de modèles open source reproductible au lieu d'un essai unique.
Un serveur de requêtes déjà écrit
uvicorn server:app lance un service FastAPI avec deux routes : une pour les informations de l'endpoint, une pour l'inférence. Il accepte température, top_k, top_p, nombre maximal de tokens et pénalité de répétition, de quoi tester un modèle sans câbler une bibliothèque cliente. Modèles texte uniquement.
Votre cloud, votre facture, vos données
Les endpoints tournent sur votre compte AWS avec votre quota SageMaker. Rien ne passe par les serveurs d'OpenFoundry, ce qui règle tôt les questions d'achat et de résidence des données. Cela veut aussi dire que le compteur tourne même sans trafic.
Licence MIT et code lisible
L'outil entier est sous MIT, avec environ 350 étoiles sur GitHub. Vous pouvez le forker, adapter la route de déploiement à vos règles réseau ou reprendre l'enveloppe FastAPI dans votre service. Pas de compte, pas de licence par siège, pas de rendez-vous commercial.
Avantages et inconvénients
Avantages
- Un code sous MIT que vous lisez, forkez et faites tourner même si l'éditeur cesse de publier.
- Passer d'un nom de modèle Hugging Face à un endpoint actif prend quelques minutes, sans le Terraform et l'ECS que la plupart des équipes écriraient à la main.
- Poids et inférence restent dans votre compte AWS, et c'est la différence entre une démo et un projet qui passe une revue sécurité.
- Les YAML et l'option `--deploy` rendent les déploiements répétés scriptables, y compris depuis GitHub Actions.
- Une couche de requêtes FastAPI déjà prête vous évite de réécrire la même enveloppe à chaque projet.
Inconvénients
- AWS uniquement. Azure et GCP figurent sur la feuille de route, donc une équipe multi-cloud doit forker l'outil ou attendre.
- La requête intégrée ne traite que le texte ; image, audio et multimodal demandent votre propre client.
- Les endpoints facturent à l'heure jusqu'à leur suppression, et l'autoscaling ne se pilote pas depuis l'outil. Un endpoint oublié coûte vraiment de l'argent.
- Le dépôt est silencieux depuis mai 2024 et le site commercial pointe ailleurs : vous adoptez un projet sans maintenance, pas une plateforme avec support.
Questions fréquentes
Oui. Model Manager est sous licence MIT et se télécharge sans frais, et la plateforme hébergée n'a jamais eu de tarif public. Le vrai coût, c'est votre facture AWS, qui paie l'instance SageMaker derrière chaque endpoint laissé actif.
Contenus associés
Découvrez des outils, des compétences et des articles liés à OpenFoundry.
Alternatives à OpenFoundry
Base Code
Base44 (Wix) · Programmation · ProductivitéBase Code est un environnement de développement cloud partagé signé Base44. Votre équipe décrit des modifications sur un dépôt GitHub dans le chat, les vérifie en aperçu et les renvoie sous forme de pull requests.
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
GitGlow
GitGlow · Programmation · ProductivitéGitGlow est un client Git de bureau qui place votre code et les modifications de vos agents IA dans une même revue, pour savoir ce qui quitte votre machine avant de livrer.