Foundry
Foundry · Programmation · Autres
Foundry est une plateforme de benchmark pour agents de navigateur IA qui associe simulation d'agents web et évaluation rapide d'agents, pensée pour les équipes qui créent des agents de navigation autonomes.
À propos de Foundry
Qu'est-ce que Foundry
Foundry est une plateforme d'automatisation de navigateur conçue pour ceux qui déploient des agents web IA. Au lieu de deviner si un agent peut gérer un tunnel de paiement ou un formulaire à plusieurs étapes, vous le lancez sur des sites simulés et des tâches connues, puis vous comparez les résultats dans un classement. L'équipe derrière vient du monde de l'automatisation de navigateurs, et l'entreprise est soutenue par Y Combinator.
Le problème central qu'elle résout, c'est la confiance. Les agents de navigateur échouent de façon désordonnée et difficile à reproduire. Une démo qui marche une fois ne dit presque rien sur la fiabilité. Foundry vous donne des tâches répétables, une notation cohérente et un point de référence partagé. Votre dernier changement de prompt a-t-il vraiment aidé ? Maintenant, vous pouvez le savoir.
La plus grande limite aujourd'hui, c'est l'accès. Foundry est en bêta privée, donc vous rejoignez une liste d'attente avant de débloquer la plateforme complète. Il n'y a pas non plus de page de tarifs publique, ce qui complique le budget tant que vous n'êtes pas entré. Si vous avez besoin aujourd'hui d'un outil en libre-service avec des offres publiées, ce n'est pas encore celui-ci. Si vous évaluez des agents et pouvez attendre une invitation, la mise en route est rapide une fois à l'intérieur.
Premiers pas
- Demandez l'accès à la bêta privée via le site et attendez votre invitation.
- Installez le SDK Python pour que Foundry se branche sur votre workflow d'agent existant.
- Choisissez un benchmark qui correspond à ce que votre agent est censé faire, de la navigation au remplissage de formulaires.
- Soumettez votre agent et laissez-le exécuter les tâches dans l'environnement web simulé de Foundry pour tester des agents IA.
- Lisez vos scores dans le classement et comparez les exécutions pour voir ce qui a changé.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Foundry.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Ingénieurs IA qui créent des agents de navigateur
- Équipes QA et évaluation
- Équipes de startup qui déploient de l'automatisation web
Tâches
- Mesurer un agent de navigation sur des tâches standard
- Mettre à l'épreuve des flux à plusieurs étapes comme le paiement ou l'inscription
- Comparer deux versions de l'agent après un changement de prompt ou de modèle
- Publier les résultats sur un classement partagé
Cas d'usage
- Contrôles de fiabilité avant lancement
- Recherche sur la capacité des agents web
- Présenter les progrès d'un agent à une équipe ou à un investisseur
Fonctionnalités clés
Environnements web simulés
Foundry lance les agents sur des sites simulés qui imitent de vraies pages sans l'imprévisibilité du web en direct. Une tâche échoue ou passe pour une raison que vous pouvez inspecter. Pas parce qu'un captcha est apparu ou qu'un site est tombé en pleine exécution. Ce contrôle, c'est tout l'intérêt. Aucune exécution instable à traquer.
Suite de benchmarks
Il existe un ensemble de tâches standard sur lesquelles votre agent peut être noté, couvrant des travaux de navigation courants comme naviguer, chercher et remplir des formulaires. Les tâches partagées, c'est ce qui rend votre chiffre comparable à celui d'un autre. C'est tout l'intérêt d'un benchmark d'agents de navigateur.
Intégration du SDK Python
Vous branchez Foundry à votre workflow via un SDK Python, donc vous ne réécrivez pas votre agent pour le tester. Le SDK se charge de soumettre l'agent et de récupérer les résultats. La configuration prend environ cinq minutes si votre agent tourne déjà sans interface graphique. Aucune nouvelle stack à apprendre.
Classement et notation
Les résultats arrivent dans un classement pour que vous voyiez comment votre agent se situe face à d'autres qui exécutent les mêmes tâches. C'est utile comme vérification rapide et pour repérer quelles tâches font trébucher tous les agents, pas seulement le vôtre.
Exécutions d'évaluation plus rapides
Foundry affirme que son évaluation d'agents IA est jusqu'à 10 fois plus rapide que de monter son propre système de tests, surtout parce que les environnements et les tâches sont livrés déjà prêts. Des boucles plus rapides signifient plus d'itérations dans la même après-midi. Cela compte quand vous réglez des prompts.
Moteur de données et de simulation
Au-delà des exécutions notées, Foundry se présente comme un moteur de données et de simulation pour agents web. L'argument : des environnements réalistes et contrôlables vous aident à tester et à améliorer un agent, pas seulement à lui donner une note. Pour les équipes avec une feuille de route longue et un flux constant de changements d'agent à valider, cette promesse plus large est l'argument principal.
Avantages et inconvénients
Avantages
- Des sites simulés réalistes rendent les échecs reproductibles et plus faciles à déboguer.
- Les tâches de benchmark standard donnent un chiffre que vous pouvez comparer entre exécutions et équipes.
- Le SDK Python s'intègre aux workflows d'agents existants avec une réécriture minimale.
- Le classement ajoute un point de référence externe pour la capacité de l'agent qu'une suite privée ne peut pas fournir seule.
- Les rapports indiquent des boucles d'évaluation plus rapides que de construire son propre système de tests à la main.
Inconvénients
- La bêta privée signifie attendre une invitation avant de pouvoir utiliser la plateforme complète.
- Pas de tarifs publics, donc vous ne pouvez pas budgéter ni comparer le coût sans parler d'abord à l'équipe.
- Les environnements simulés ne reproduiront pas parfaitement les particularités de chaque site en production.
- Les petites équipes sans expérience de Python font face à un premier pas plus raide.
Questions fréquentes
Foundry est une plateforme pour tester et mesurer des agents web IA. Vous lancez votre agent sur des sites simulés et des tâches standard, puis vous comparez les scores dans un classement. C'est ainsi que vous jugez la fiabilité.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Foundry.
Alternatives à Foundry
Base Code
Base44 (Wix) · Programmation · ProductivitéBase Code est un environnement de développement cloud partagé signé Base44. Votre équipe décrit des modifications sur un dépôt GitHub dans le chat, les vérifie en aperçu et les renvoie sous forme de pull requests.
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
GitGlow
GitGlow · Programmation · ProductivitéGitGlow est un client Git de bureau qui place votre code et les modifications de vos agents IA dans une même revue, pour savoir ce qui quitte votre machine avant de livrer.